探索中国CIO人才现状 | 第四季调研报告
PMC:存储系统发展有机遇有挑战
2013-05-16  作者:企业网 

  张冬在存储领域有多年的从业经验,主持并参与过多项创新存储技术的设计,也是《大话存储1&2》系列图书作者。见到张冬是在pmc位于中关村的办公室,他告诉csdn:传统的企业存储方案正在受到来自互联网企业主导的分布式存储方案的冲击,我们的聊天从存储系统的发展历史开始。


  csdn:过去几年,从das、到nas、san,从raid卡到iscsi、pcie闪存卡,过去几年,企业存储技术经历了怎样的变迁?哪些应用直接带动了存储技术的变革?


  张冬:在2000年到2005年之间,das的方式如raid卡、jbod被比较广泛的采用。那时候企业的应用主要以数据库为主,还有erp、邮箱、网站数据等等。但是,das是一个孤岛模式,那么从运帷的角度来看,早期一两台server没问题。但当企业发展到上百台服务器时,对管理员的压力就非常大了。


  从2004年到2009年,das逐渐开始向san/nas过度,在国内有广泛的应用,发展非常快。大型互联网公司在2006年以前也大量使用了san/nas,此后渐渐向分布式存储过度。但这也不绝对,比如支付类应用依然使用san,这些应用对可靠性的要求更高,另外一些中小规模互联网公司依然在广泛使用传统san/nas。


  csdn:全闪存、未来甚至全内存计算的架构正在被部分用户所采纳,但是大型数据中心多数使用的仍是低成本存储介质,未来的全内存、全闪存技术在超大型数据中心的前景如何?从技术层面,有哪些瓶颈依然无法克服?


  张冬:从长远角度来讲,闪存肯定将成为替代品,但是不会很快。很多年前就有人说,磁带会消亡,磁盘代替磁带,闪存代替现在磁盘。但是现在来看这个周期远没有那么短,磁盘容量现在还在增长,4tb的磁盘也推向市场了,磁盘的容量还会继续往上升。


  现在都在谈大数据,数据量越来越大,各种数据搅在一起,是一个混沌的状态。最终将实现分层,比如快数据、热数据、冷数据。闪存、磁盘就有各自适应的场景。那些彻底不再用,但是又不扔的数据可以存储在磁带上。


  其实闪存相对机械盘的优点是非常多的,我特别强调故障率,目前从终端用户的反馈短期内来看,ssd故障率相对于机械盘还是有很大的下降,可靠性比较高。那么摆在ssd面前的问题就是成本、寿命和容量。现在,ssd厂商基本上都是在牺牲性能换取容量。早期ssd厂商力推slc,的确提供了非常高的性能,但是容量很低。最后总结发现用户不敢用,因为大部分场景用不到太高的性能。


  基于机械盘的那些高端存储的iops也就是20万到40万区间,而一块pcie的flash卡就能提供这个级别的iops。传统的高端存储系统花费了太多工作去将一堆极不可靠的部件组装为一个高可靠的单一系统,同时有相当一部分高端存储系统其实并没有存储多大容量的数据,用户最看重的其实还是其可靠性和性能。flash介质能用极少的部件提供较高的可靠性,而价格却远低于高端存储,在这部分市场,闪存的潜力是蛮大的,但是受多方面因素决定短期内还不可能有实质性影响。而ssd对中低端存储的冲击比较小,因为容量及性价比是中低端用户考虑的首要问题。


  全闪存的存储系统相当于外置存储系统中的机械盘替换为闪存,然后在软件层面进行性能调优,这种产品现阶段在市场中有一定的份额,适用于特定应用场景。


  csdn:企业存储应用的两个趋势,一个是互联网,采取分布式,低成本,但做到稳定性,性能的保障。另一种,在企业级中的高端应用,通过ssd存储方案,保证可用性。


  张冬:目前是这样的,但是不保证将来不会发生变化。因为现在有些公司正在在把互联网的技术向企业去推动。


  csdn:哪些行业正在使用分布式存储等互联网公司的技术?


  张冬:电信运营商、石油、媒体等数据量较大的行业有采用。


  csdn:pmc能提供哪些个性化和定制化的方案,是否有一些案例可以分享?


  张冬:pmc作为一个部件厂商,提供了在数据存储的优化和定制化服务。比如bigblockbypass技术,当io下来块数据体积非常大,就不缓存它,这个算法它会在内部完成识别,达到节省缓存的目的,让更多的缓存去缓存那种小块的数据。


  另外,我们可以针对应用进行调优,后续会有更多的此类特性推出。我们和很多互联网公司合作,根据他们的应用场景,帮他们做优化。此外,pmc提供很多公开的接口,例如page的大小,包括io的甄别,读取方式,读与写的优先关系等等,用户都可以根据的应用场景去调整。


  pmc在北美有很多合作伙伴,包括微软、亚马逊aws、facebook等,与服务器厂商有很紧密的合作。例如,为微软提供他们所需要的机型,具体到对存储的需求,接多少块盘,对接口有什么要求,通道数量以及软件特性等等按照要求定制。


  csdn:pmc参与到ocp等定制硬件方案了么?


  张冬:我们正在积极的参与。ocp体系中对于存储方面的设计是很重要的,sas通道、raid等领域是pmc的主要的业务。


  csdn:软件定义数据中心、软件定义网络(sdn)是当下很热门的一个词,用户希望更开放的系统、更大的灵活性、更开放的接口,更定制化、更便宜的解决方案,就存储技术而言,sdn对存储技术的改变会在哪里?


  张冬:软件定义这个概念一直在发生。除了芯片,除了asic/fpag里面那种纯的应用逻辑之外,其他的都是软件定义,只不过现在面临的是不同开发对象,是给厂商开发,还是给用户来开发。


  比如互联网用户,他们的开发能力越来越强,那他们就肯定是要自己去开发。原因很简单,底层厂商开发周期太长,因为底层厂商的设备不仅要供互联网使用,还需要供给大量其他企业和行业,所以厂商就要在这方面做很多工作,相当一部分工作与互联网的需求相比是可有可无甚至是冲突的。


  sdn的本质,软件定义本质就是满足互联网式的需求。硬件厂商提供硬件,软件我来开发,周期很短,互联网的开发周期是非常短的,三个月一个产品就能上线。而传统厂商开发一个产品,可能一年或者两年,芯片开发的周期更长,达到五年。


  但这种开发方式给普通企业就行不通,厂商必须做很多的工作。给互联网用户,提供硬件,并把接口搞好,互联网用户就有了自己施展的空间。将来就是会分化成两种模式,一是给企业,另一个给互联网用户。


  csdn:在下个月在国家会议中心会举行一场《未来的存储系统设计--adaptecbypmc技术交流会》,是什么样的初衷让公司举行这个交流会?在会上将讨论哪些话题?


  张冬:云计算、大数据,你也知道对各个方面都有很大的影响。大数据不仅在互联网行业中影响,在传统企业也有很多影响,比如传统存储厂商都推出了自己的大数据解决方案,其实他们做的更多还是集成。云计算对这个影响还是很大的,那么作为我们上游的公司也要面对这种架构的变革,我们肯定是会有很多预研,并有新产品和功能不断推出,包括跟客户定制化。


  高密度的存储计算跟我们都脱不开关系,比如冷数据。冷数据要求密度非常大、成本非常低,我们相当于芯片板卡这个级别,这个角色是对底层存储介质的组织者,所有的磁盘都要接到这个我们的芯片和板卡上,能提供多少的密度,什么性能,能适配多少种不同用户的设计需求,都是我们要考虑的。另外,要做存储的智能化方面的一些功能,如何更好的适配用户的应用,用户的应用做优化之类的。


  csdn:冷数据、高密度存储这种应用场景,更多在互联网用户中,还是更多的在传统企业中?


  张冬:我认为主要在互联网用户中应用。因为互联网数据量非常大,这些数据会逐渐分层,肯定会有大量的冷数据。从北美的一些经验来看,冷存储系统已经逐渐的都在上线,国内市场最近也在上线。