探索中国CIO人才现状 | 第四季调研报告
商业智能融合大数据
2013-03-07  作者:CIO时代网 

  沃尔玛超市“啤酒与尿布”的案例,曾被奉为商业智能的经典。它体现了数据对市场营销的巨大价值。故事大致如此:在美国的沃尔玛超市,人们发现了一个十分有趣的现象——尿布与啤酒的捆绑销售。咋一看将这两样毫无共同点的商品结合在一起令人疑惑丛生,但惊愕的是,这一举措居然使尿布和啤酒的销量双双大幅提高。之后的市场调查给出了原因:原来美国家庭的妻子通常在家照顾孩子,因而经常会叮嘱丈夫在下班回家途中顺便给孩子买尿布,购物途中的丈夫则又顺手拿了几瓶自己爱喝的啤酒。在商家发现这一奥秘之后,投其所好进行捆绑销售,为商家带来了大量的利润。


  “啤酒与尿布”的故事彰显了数据的价值。看似风马牛不相及的商品,通过海量的信息数据挖掘,它们之间的潜在关联得以显现。


  从“数据”到“数据价值”之间的转换,这便是“商业智能”(BusinessIntelligence,简称BI)的核心。通常情况下,新的业务和商业模式便诞生于此。


  海量数据


  IT圈子里常常会有一些共识,比如:数据也是企业的重要资产。关于大数据的研究与预测,也早已成为行业里炙手可热的课题。


  IDC调查的研究报告表明,2012年,全球信息化资料量为2.8ZB。随着全球PC与智能手机的普及、愈来愈多的数据正在被产生。到2020年,全球数据资料存储量将达到40ZB。这一数据量约等于地球沙滩上所有沙粒总和的47倍,这意味着平均每人将拥有5247GB的数据量。如果把40ZB全存到蓝光光碟中,光碟的重量将与424台尼米兹(Nimitz)级航母相当。而数字信息的主要制造者也将从现有的成熟市场转移至新兴市场。


  在存储世界里,这或者相当于世界末日;但从另一方面来看,庞大的数据就像是一座金矿,以“啤酒与尿布”为例,巨大的市场机会蕴含其中。而在信息技术发展迅速的当下,其价值将越来越容易被挖掘。


  事实上,围绕着大数据而涌现的一大批新兴商业智能,如数据挖掘、数据存储、数据处理和分析等,也正迅速席卷市场。由于数据挖掘等商业智能技术的应用,让不少企业从大量的历史数据中剥茧抽丝,发现很多有价值的信息,大大改善了管理人员决策的科学性。


  长期以来,商业智能的应用一直局限于结构化数据,但实际上,生活中更多的是非结构化数据,这一类型的数据近年来增长更为迅速。例如社交媒体中的各种交互活动、购物网站用户点击行为、图片、电子邮件等。大数据就是要打破传统商业智能领域的这一局限,甚至从某种程度上,它将更擅长处理非结构化数据。


  不难预料的是,随着大数据相关技术的成熟,数据分析和处理将逐渐从传统的结构化数据扩展至非结构化数据领域中,越来越多的行业将从中受益。如何利用大数据,通过商业智能将其价值发挥到最大,已成为企业寻找商业价值的根基。


  大数据挖掘拓展


  在摩尔定律的作用下,IT设备的硬件成本一直在不断降低,加上现代IT技术的发展,使得很多服务器连接到一起组建服务器群集变得非常容易。诸多因素的结合为大数据时代的到来提供了平台。


  从微博等社交媒体中挖掘实时数据,再将它们同实际销售信息进行整合,能够为企业提供真正意义上的智能,帮助其了解市场发展趋势、理解客户的消费行为并为将来制定更加有针对性的策略,对于企业提升其服务质量有着积极的作用。


  相对于传统媒体而言,在新媒体环境下,用户不仅能够随时随地接收丰富的多模态信息,同时,产生并分享丰富的多模态信息,这对数据挖掘提出了新的要求。在清华大学计算机系教授杨士强看来,如今,信息量的激增、信息源的不可控和传播模式的多样化、复杂化等,令寻找可信的精准的信息变得更具挑战性。


  作为信息平台,需要注意如何将用户需要的信息和个性需求相结合,精准地传递用户需要的信息。另一方面,要对网络进行监控和引导,构建健康的网络环境。数据挖掘是一种海量、多模态、多尺度、多类型的技术,进行关联预测、分类与聚类、趋势预测等等,在现有的技术上,需要寻找新的技术,来适应新媒体环境下的数据挖掘。


  杨士强教授给出了信息→信息流→行为性信息流的新挖掘思路。在信息层面,通过内容理解,进行信息内容的语义挖掘;在信息流层面,进行结构分析,进行信息传播的结构挖掘及演化规律挖掘;在行为性信息流层面,通过行为建模,进行用户偏好挖掘(如图)。


  一些大数据技术正在被那些迫切需要这些技术,且对新技术异常敏感的人们积极使用,大数据挖掘正向各行各业扩展。几年前,或许还仅仅只是Facebook、雅虎这样的大型网络公司应用大数据技术。如今,银行业、公共事业、智能社区等等,几乎所有拥有海量数据的企业都在使用大数据技术,这些技术在部分项目中也起到了关键作用,如创建由社交媒体驱动的基于Web的服务。而在其他一些垂直行业、企业也已经意识到,与之前相比,自己正处于业务转型的一个绝佳机会当口。它们在产业链上的价值越来越依赖于信息。


  BI→BA


  商业智能的关键是从企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(extraction)、转换(transformation)和装载(load),即ETL过程,合并到一个数据仓库里,从而得到企业数据的一个全局视图。在此基础上,利用一些工具对其进行分析和处理,最后将结果呈现给管理者,为管理者的决策过程提供支持。


  自2003年商业智能技术兴起开始,处理并分析非结构化数据都是BI面临的难点。大数据意味着包括交易和交互数据集在内的所有数据集,其规模及复杂程度,都远远超出了常用技术按照合理的成本和时限来捕捉、管理及处理这些数据的能力。


  IDC在对2008-2012年的BI工具预测中,指出商业分析(BA)软件应包括的两大部分:数据仓库平台和绩效管理工具及应用。除开商业智能外,它还包括了企业信息管理(EIM)、数据仓库(DW)、企业治理、风险管理和合规(GRC)、企业绩效管理(EPM)、分析应用(AA)五大支柱。


  当报表、多维分析等传统的BI技术已被大家熟知之后,它向更高级且易用的BA技术迈进。在BA中,EIM的作用举足轻重,在社交媒体等工具中产生的大量非结构化数据,EIM可以对其进行分析,并将其转化为有意义的数据。


  从企业内部来说,倘若公司高管和一线员工之间要获得良好的沟通,需要借助商业分析(BA),与BI更多关注报表、分析、仪表盘不同,BA相当于在ERP和BI之间架起了一座桥梁。


  对各个机构来说,让业务部门能够访问所有数据,以便将其应用于整个大数据基础设施中也显得极为重要。数据集成让组织机构能够将传统的交易数据与全新的交互数据组合起来,从而获得在其他情况下无法达成的洞察力和价值。比如,可以通过社交媒体了解客户的喜恶,以此充实客户资料来提高目标行销效率。


  而商业分析也不再只被少数专家所使用。作为企业管理层,上班的第一件事也许是打开营运绩效仪表盘查看企业运营情况,餐厅也会分析顾客的偏好来管理和优化原料的供应,超市则会根据商品销售的关联分析来进行货架的布置。BA已经融入人们的日常生活。


  在此基础上,传统以报表和多维分析为主的BI,向整合了统计分析、数据挖掘等高级分析技术的BA发展,将逐渐成为主流。


  机遇与挑战


  大数据与商业智能的融合将为企业带来什么机遇?在信息技术和信息渠道不断更新的当下,应运而生的海量数据将社会带入一个多元化的时代。毋庸置疑,这给企业信息化,乃至整个产业的发展带来了前所未有的契机,给予不同需求的厂商及合作伙伴更多的商业竞争机会。


  对于合作伙伴而言,传统技术模式的创新更具推动作用,创新的技术理念推动着产业生态环境的发展,并能极大地促进于用户的体验,达成与合作伙伴的共赢。在新兴技术趋势引导下的BI格局,将在渠道层面掀起一番新的渠道机会。随着企业业务系统的不断完善,客户需求推动着其步入大数据与商业智能融合的道路。


  对于企业而言,随着企业数据系统架构的不断优化升级,小至企业部门间的OA系统,大到企业中的ERP,乃至数据中心。种种信息系统的集合成为企业信息数据的新价值体系,企业从海量数据中获取价值的同时,从不断的企业应用实践中可以得出BI在逐渐被企业驾驭于系统集成之上,并逐渐开始与企业中ERP、CRM、SCM等系统相集成,由此,使数据获得深入分析。大数据将革新商业智能的布局,并形成企业商业信息上的价值机会,数据应用随着商业化的发展而迅速发展,商业数据价值逐渐占据企业信息层的主导位置。


  对于厂商而言,在大数据格局中,其在市场中的独到价值吸引着诸多企业级软件厂商的目光,甚至有行业分析人士指出,业务价值成为当前大数据价值竞争的焦点,从数据中为客户找到真正的业务价值的同时,也就掌握了大数据的话语权。


  尽管大数据分析在互联网时代有着重要的意义,但是,企业在抓住机遇的同时,也应该认识到相应的挑战。尤其大数据分析缺乏成熟的实践经验,其方式方法与传统的数据仓库与BI系统有着一定的区别。在实施大数据分析项目之前,企业不仅应该知道使用何种技术,还应该知道在什么时候、什么地方使用。


  在大数据与BI的融合应用过程中,企业还将继续使用传统BI工具,这在大数据分析环境下可以作为有效补充。然后高级的分析用来应对非结构化数据。有些公司还会有科学家或类似职位,他们往往是高级或者资深的IT工程师,负责构建复杂的预测模型。


  随着移动应用技术的迅猛发展,BI在移动技术应用上的突破也随即会步入正轨,未来对于移动终端设备上的突破,将成为商业智能在技术应用层面一道新的亮点。从某种意义上来看,移动BI的兴起将把企业数据分析技术领域带到一个新的纪元。


  有业内人士认为,随着全球一体化进程的加快,企业竞争力在技术和产品上会很快被竞争对手同质化,进而导致企业通过数据分析而获得的企业核心竞争力越趋凸显。