探索中国CIO人才现状 | 第四季调研报告
揭开大数据秘密芯片创业公司DSSD的面纱
2014-05-15  作者:企业网D1Net 

  近三年来,Sun公司的ZettabyteFileSystem创建者中有许多都在美国加利福尼亚门洛帕克的一幢大楼中埋头苦干,他们正在努力研发一款芯片以提高闪存的性能和可靠性,提升HPC、数据分析和网络传输的能力。这家名为DSSD的创业公司由AndyBechtolsheim资助,近期的一项招聘活动以及若干项专利的发布提供了一些线索,让我们了解这家秘密的创业公司到底是干什么的。


  DSSD由JeffBonwick和BillMoore创建于2010年,他们两位都是少数拥有构建存储操作系统经验的工程师。Bechtolsheim在硅谷算得上一位摇滚明星,他是Sun公司的合伙创建人,还曾支持谷歌,并合伙创建了Arista这家交换器公司。在他的支持下,DSSD拥有了硅谷最聪明的一些人,但没有人愿意就公司的情况发表言论。


  有消息称,这家创业公司正在创建一款新型芯片(他们说它实际上是一个模块,而不是芯片),它拥有少量的处理功能和大规模密集封装的内存。这个模块搭载的是为闪存而设计的缩减版Linux系统,旨在解决大数据或其它工作负载因磁盘上的读写信息超载导致应用死机的问题。


  这与该团队的专长非常契合,但是业内的其他人也都在努力尝试用更快、更便宜的SSD来解决这个问题,并瞄准用软件来优化数据库的信息流。不过,与用硬件驱动器来提高I/O相比,这个提议更像是在设计一款能充分利用闪存特点的操作系统。


  例如,你在一个老的磁盘驱动器上存储了一组按顺序排列的二进制数,但事实上这些数据可能在驱动器的任何地方丢失。在频繁使用后,当你删除一份文件,哪里就会覆盖一个标记,然后你必须找到那个标记,并在那块空间重写入相同数量的数据,并为剩余的数据寻找更多的空间。于是数据就变得到处都是。


  但是DSSD系统貌似并不是把文件当做一系列二进制数而是一个有名字的对象。这个名字就是文件的地址并且始终不变。结果就是在发送数据和储存数据之间没有中心索引了,人们能够以平行的方式写入存储,不用担心重写。这样做既快速又能够扩展。


  要了解更多细节,我们可以看看DSSD申请的六项专利。三月中旬,StorageMojo发现了隶属于这家公司的专利,从中可以看出它正在建立一种更快速的对象级存储,使用的是更经久耐用的闪存技术。下面两段文字摘自StorageMojo的文章:


  那么他们在建设什么?他们正采用一种截然不同的方法解决高性能业务的存储处理问题。闪存是TP的产物,增加的耐用性、可扩展性以及有保障的读取延迟对于大型TP应用而言十分具有吸引力。


  最让人吃惊的是该专利所显示出类似于对象存储的特点。在一个扁平的命名空间内高速处理数以亿计的小对象,会使得成百上千的用户之间的分布对象索引变得更容易,减少了文件系统I/O的延迟时间。3DRAID能够减少纠删码中固有的编码费用,同时提供相同的稳固性,保证了RAID6以上版本的可用性。


  对于那些并不爱好存储或计算的人而言,这个问题可以这么看待:建立新的接口以利用闪存芯片的平行结构是很有必要的。如果那样做,你就能够扩展闪存除了密度之外的其它能力,你能够更快地写入数据,这意味着网络不再是问题。


  当然,当讨论在更多地方使用闪存时,总会存在一个问题:这一结构所提供的性能优化是否值得花费比传统磁盘更高的价钱。但是对于这个问题,现在我们只能拭目以待。