传统BI面临的挑战
2013-01-27 作者:CIO时代网
大中小
随着业务的快速发展、用户的持续增加和移动互联网的兴起,中国移动正面临着数据的爆炸性增长。如何快速地处理海量数据,及时有效地从海量数据中提取有价值的信息,是中国移动的商务智能(BusinessIntelligence,BI)系统亟须解决的问题。
BI系统从企业生产系统中提取出有用数据并进行清洗,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,将数据合并到一个企业级的数据仓库里。在此基础上。利用合适的查询和分析工具、数据挖掘(DataMining,DM)工具、在线分析(OnLineAnalyticalProcessing,OLAP)工具等对其进行分析和处理,最后形成知识,支持企业决策。
数据的海量增长,处理运算的日益复杂,使传统BI系统面临越来越大的压力,难以满足需求,主要体现为以下两点:
1)计算性能低。
传统的BI系统,其BI能力的实现往往采用基于内存的串行机制。即将数据全部或批量导入内存中,再依次进行处理。其处理性能受限于单台机器的内存容量和计算能力,无法支持海量数据的分析处理。
2)可扩展性差。
可扩展性是指处理性能随系统规模增长的能力,是设计BI系统所追求的一个重要目标。目前的BI系统缺乏一个设计良好、可扩展性强的架构,系统的效率不是随着计算资源的增加而呈线性增长,当系统到达一定规模时会出现效率降低、执行时间难以预测等问题。