大数据重启实时分析
2013-06-25 作者:CIO发展中心 MaxTian 编译
大中小
【CIO发展中心独家】为什么Tibco SoftwareAG要购买Apama,而Tibco要购买StreamBase?也许物联网给复杂事件处理带来了第二次机会。
听到很多有关"实时"性能的讨论,你可能会觉得这种能力非常普遍。事实上,真正的实时分析性能,能够以毫秒级延时分析动态的数据,这种能力并不常见。这就是为什么上周复杂事件处理(CEP)技术领域的Apama和StreamBase的收购如此引人注目。
早在2008年,CEP就作为信息管理方面的一个趋势,在市场中初露端倪,引起华尔街交易机构和情报机构的关注,大有成为主流,进入包括交易系统、实时威胁检测、运输物流、客户体验管理和车间自动化等领域的势头。
很多人都对此寄予重望,然而之后的全球性金融危机带来了科技投资的寒冬。转眼之间"复杂"和高性能的承诺,就成为昂贵和过度的代名词。CEP(正像SOA)似乎被潮起潮落的技术发展所淹没,成为云计算、移动、社会消费化等其他所谓低成本技术路径取代的对象。
然而CEP仍然在华尔街有一席之地,在那里每一毫秒的领先都可能带来巨大的优势;同样,在情报机构,寻找拉登之类的人物时,CEP也有用武之地。只是大家对它的讨论并不多,也少有新的应用和客户案例出现。
再回到上周StreamBase和Apama的收购事件,StreamBase的收购价格并没有披露,但一位业内人士告诉我Tibco公司收购的极为划算,而Progress Software出售Apama,也是为了"专注于提供全球领先的云计算和移动应用程序开发技术"。
有迹象表明,大数据可能会为CEP注入新的活力。物联网显然是CEP的另一个用武之地,因为所有的传感器、日志文件和机器对机器连接显然会产生大量、高度差异化、高速变化的信息流。
CEP比SAPHANA之类的内存计算更快一步,因为它可以在数据仍处于运动状态,交易和事件仍然在发生阶段,就检测到其中的模式,或以提交实时分析到内存,进行上下文关联和分析。无论是快如RAM,还是慢如磁盘,SAP之类的分析都只是事后的事实分析,而CEP是"真正、实时的",在股票交易和情报分析场合,毫秒级的响应时间和优势有很大的作用。
TIBCO已经拥有自己的CEP引擎,名为Business Events,但其认为StreamBase对数据流的分析能力,将帮助它应对动态数据中的应用案例,包括金融服务和其它一些领域。根据收购相关的信息披露,所谓的"其它领域",包括"基于事件的批处理型大数据架构",类似于Hadoop和大规模分析数据库。Software AG对其Amapa收购的表述则更为清楚,认为其"使客户能够全面设计、测试、监测和控制工业互联网"。
显然,Tibco和Software AG公司比StreamBase和Apama之前的拥有者能更好地定位自身想做的事情,而加大投资又是唯一的选择。与此同时,市场上还有大量传统的竞争对手,包括IBM InfoSphere Streams和WebSphere Websphere Business Events,Informatica Complex Event Processing,Oracle Complex Event Processing和SAP Sybase EventStream Processor。微软和惠普也有CEP,虽然大家很少听到相关信息。
如果Tibco和SoftwareAG真的打算去深挖大数据市场,而不是仅仅想拓展金融服务行业,那么他们会面对很多数据流处理新兴企业的竞争,其中大部分专注于大数据领域。这其中包括商业化的HStreaming和SQL Stream,以及开源项目Storm数据流处理软件和Hadoop(被Twitter用来分析Twittersphere)。
互联网巨头谷歌、Facebook和雅虎都有自己的CEP方案,以分析其大量快速变化的网络,同时他们似乎也将其中积累的经验贡献到了开源项目中。
所以我们两次看到了CEP潜在的机会。然而是否还能像2008年那样,发现更加广泛的行业应用,还有待于观察。大数据的市场泡沫正在膨胀,当企业们开始寻找大数据项目投资回报的确凿证据时,很难说我们看到的是软着陆,还是硬的崩盘。
(来源:CIO发展中心)