探索中国CIO人才现状 | 第四季调研报告
IBM产品技术多点发力 “掘金”大数据
2013-05-31  作者:企业网 

  云计算方兴未艾,大数据又如火如荼。如今,大数据及分析已经成为企业做出决策的最佳方法,其中蕴含着巨大的商机,诸多传统IT厂商的战略天平也开始向大数据倾斜,期望在大数据浪潮淘得“真金”。作为信息产业的领导者,IBM同样将大数据作为核心战略之一,在不断更新着大数据与分析创新技术,并且在推动大数据实际落地中已经成绩斐然。


  5月28日,2013IBM大数据与分析论坛在京召开,IBM推出了业界独有的大数据分析加速技术BLUAcceleration以及面向Hadoop的PureData版本,还发布了IBM大数据平台的旗舰产品BigInsights、Streams、DB2、Informix的升级版本,以及结合移动及物联网技术的数据平台MessageSight和为消费者提供快速服务的WatsonEngagementAdvisor。除了发布新品外,IBM还宣布,目前IBM在全球的大数据领域客户已经突破三万家,覆盖金融、电信、零售、医疗、零售、制造、能源、政府等众多行业。


  大数据带来五大便利


  如今,各种计算机、移动设备、传感器和社交网络在产生着大量的结构化和非结构化数据,企业数据呈现几何级数增长。这些数据在给企业带来前所未有的压力的同时,也给企业带来了新的机会,通过数据分析,能够挖掘出具有巨大价值的信息,帮助企业做出决策、深化客户关系、规避风险和诈骗,获得新的业务机遇。IBM全球副总裁兼IBM中国开发中心总经理王阳博士指出,大数据能够为企业带来五个便利:


  “第一是探索,探索和挖掘大数据,能够发现与业务相关的兴趣点,从而更好地制定决策;第二是360度全方位客户视图,全面了解客户,从而优化每一次客户互动;第三是运营分析,对机器数据应用分析,从而提高运营效率;第四是数据仓库增强,利用技术进步从现有的数据仓库投资获得更多的价值,同时降低成本;第五是安全和智能扩展,通过分析大数据的所有类型和来源,增强传统的安全解决方案,以防止罪案发生。”


  IBM全球副总裁兼IBM中国开发中心总经理王阳博士


  大数据有三方向IBM各具领先优势


  王阳博士表示,大数据技术可以分为三个不同的方向,第一是数据传输,第二是数据的处理速度,第三是洞察和分析。而IBM在这三个方向都具有创新的技术、产品和方案。


  在数据传输方面,IBM几个星期前在拉斯维加斯发布了全新物联网数据分析平台MessageSight,以信息队列遥测传输(MessageQueuingTelemetryTransport,简称:MQTT)技术为基础,能支持100万台并发传感器或智能设备,消息处理量可扩展至每秒1300万条。王阳博士介绍说,要处理大数据,首先要有好的采集和传输的方式,否则是无法进一步进行的:“MQTT非常小、非常安全又压缩的,能够在能耗非常低的情况下并发采集相当多的数据,这是在基础层面给大家提供的很好的大数据工具。”


  在提升数据处理速度方面,IBM在本次论坛上推出了全新的BLUAcceleration分析加速技术和PureDataforHadoop系统。其中BLUAcceleration整合了大幅改善分析能力和简化管理的一系列技术,能够将报告生成和数据分析速度提高25倍。借助BLUAcceleration,用户可以更快速地抓取关键信息,从而做出更好的决策。“在测试中,使用BLU技术,很多查询功能在分析负载中运行速度比以前要快1000倍”,王阳博士强调说,BLU采用内存计算技术,甚至当数据量超出内存容量时,也能让数据更快捷的下载到随机存取存储器上,而不是硬盘上。


  此外,BLUAcceleration的革新技术包括了“数据忽略(dataskipping)”,即略过那些分析中不需要的数据,比如重复性的信息。它还可以分析跨处理器的并联数据,并且不通过开发数据建模的隔离层,便可更直接地对应用程序进行数据分析。BLUAcceleration另外一个显著优势叫做“可行性压缩(actionablecompression)”,可以让数据在整个分析过程中保持压缩状态。


  非常特别的,王阳博士表示,BLUAcceleration是目前道唯一一个能够支持多种工作负载的加速工具:“也就是说,在同一个数据库当中既可以有行的存储,也可以有列存储,这样使得我们能够同时去处理多种的工作负载。我们的目的是支持大数据的方向,这样分析的方向,帮助我们客户在现有的在他们现有的数据库当中更好的去做预测和分析,提高我们分析的工作负载的能力。”


  在提升数据处理速度方面IBM发布的另一个重要新品是PureDataforHadoop系统。IBM去年发布了PureData专家集成系统,包括事物系统、依托于Netezza技术的分析系统以及运营分析系统,而今又增加了专门面向Hadoop应用的新成员。PureDataforHadoop系统集成了IBM的InfoSphereBigInsights软件,针对大数据应用进行深度优化,让企业在使用企业级Hadoop技术时的加载时间从数周减少到数分钟,并且提供了功能更强大的大数据工具,可用于监测和研发,同时加强版的大数据工具可以与更多企业系统相兼容。


  而在洞察和分析层面,王阳博士谈到:“IBM希望做到更高层、在更高的领域跟大家讲大数据的事情,也就是认知”。王阳博士认为,大数据分析的最高境界是“认知”,也就是当有很多数据输入后,机器能够在没有人工指导的情况下,就可以给用户展示出从数据中发展的知识和规律。


  “我强调传输的能力、处理的能力和分析的能力,这是大数据技术上三个必须要着重花力气的方面”,针对大数据技术的研究方向,王阳博士这样做出总结。


  大数据带来信息领域的一次新的浪潮,也带来了新的商机,也或将造就新的市场格局。IBM希望在大数据分析领域成为领导者,为此在不断加大着投入。王阳博士介绍说,IBM投入了巨资建立高度集成的分析体系,并集中研发专门的分析系统来应对专项的分析需求。同时目前IBM已在全球9个城市里建设全球大数据分析解决方案中心,拥有近9000名顾问和400名数学家。在中国,从2012年开始的连续3年内,IBM计划投资超过3亿人民币,用于在进行大数据及分析的研发与推广。