探索中国CIO人才现状 | 第四季调研报告
优化Hadoop提升数据中心30倍性能
2013-04-12  作者:企业网 

  一直以来英特尔在消费级领域都是扮演者领导者,那么其在企业级应用领域有何出色表现?未来数据中心能实现什么样的价值呢?


  在今年的IDF大会上,英特尔公司高级副总裁兼数据中心及互联系统事业部(DCSG)总经理柏安娜针对企业级应用给出了答案。


  数据高效管理对系统要求更高


  谈到数据管理,柏安娜表示,从物联网一直到数据中心,大家都不断的在讨论所谓的大数据、海量数据,而资料管理跟分析过去都是IT部门负责的工作,不过现在的情况已经不一样了,数据也跟过去不同了。首先是速度方面,现在很多的企业都是全年不打烊的,消费者他们希望能够得到最快的响应速度。


  第二个变化就是数据的类型,过去是结构化的数据,可是现在大部分都是非结构化的数据。因为社交网站上面有很多的信息,有很多的视频,有很多的微博。有几十亿个设备通过互联网进行互联,因此创造了很多很多的数据。这么多的数据也代表传统的数据库跟传统的智能管理系统已经不复使用。既然要解决日常生活的问题,首先想到的是交通的问题,每一年中国都会多出几百万辆的新车,中国通车的时间会增加55分钟,上班和下班的时间一天花在通勤的时间上面就会增加2个小时。所以,要通过监视录影机来搜集数据,包括很多的传感器来收集数据,进行数据分析。让数据中心跟网络边缘能够进行有效的传输。比如目前在中国仅仅是一个城市就有3万个所谓的监视器,有2万个传感器,可以看到数据的量有多大。


  博康(BOCOM)是中国最大的一家监视器制造商,他们跟英特尔合作的解决方案采用至强E3技术,可以大幅度的减少交通拥堵的情形,也可以提高安全性。假如有必要的话急救人员可以以最快的速度赶到现场。可以看到在短短的300毫秒的时间就可以完成这些大数据的分析工作。


  英特尔和Hadoop合作提升30倍性能


  Hadoop和开发源码的一些解决方案,也可以说对于大数据的分析有很大的帮助,这跟英特尔一样,有越来越多的企业会采用Hadoop来管理他们的数据。因此,英特尔持续加强对Hadoop的投资,也希望进一步的强化开源社区,能够有效的利用处理器技术,比如说压缩。英特尔早期已经有了很好的一些成绩,在中国有一些客户帮助部署Hadoop,因此让他们能够推出大数据的解决方案。比如说中国移动、中国联通以及其他的一些公司。


  据了解,中国移动有很多的呼叫数据记录,假如有一个客户要搜寻他的电话号码,要把他的所有呼叫记录调出来,每秒会增加16万笔的数据,因此资料数据库的量非常的庞大。英特尔要看两个基架有什么差别,第一个是至强的解决方案。新的系统有固态盘,过去是以太网络,新的基架采用的是英特尔的Hadoop,所以速度快了很多。首先CPU性能提升了2倍,而且固态盘性能提升了5倍。除此以外,以太网络也有10倍的增长。基架进行优化以后,大家可以看到不用40秒就可以完成大数据的分析工作。只要把重点摆在解决方案上,要有效的处理大数据,要用最新的CPU,要用最快的以太网络,同时结合固态盘和Hadoop的系统,因此性能提升了30倍以上。