根据有关学者的研究,数据密集型科学将成为继实验科学、理论科学、计算机科学之后,人类科学研究的第四个范式。以大数据为代表的数据密集型科学将成为新一次技术变革的基石。随着数据的进一步集中和数据量的增大,对海量数据进行安全防护变得更加困难,数据的分布式处理也加大了数据泄露的风险,信息安全正成为制约大数据技术发展的瓶颈。
大数据时代已经到来
物联网、云计算、移动互联网等新技术的发展,使得手机、平板电脑、PC及遍布地球各个角落的传感器,成为数据来源和承载方式。据估计,互联网上的数据量每两年会翻一番,到2013年,互联网上的数据量将达到每年667EB(1EB=230GB)。这些数据绝大多数是“非结构化数据”,通常不能为传统的数据库所用,但这些庞大的数据“宝藏”将成为“未来的新石油”。
1.大数据具有四个典型特征
大数据(BigData)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业界通常用四个V来概括大数据的特征。
——数据体量巨大(Volume)。到目前为止,人类生产的所有印刷材料的数据量是200PB(1PB=210TB),而历史上全人类说过的所有的话的数据量大约5EB(1EB=210PB)。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。
——数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
——价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”,成为目前大数据背景下亟待解决的难题。
——处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”报告,预计到2020年,全球数据使用量将达到35.2ZB(1ZB=210EB)。在如此海量的数据面前,处理数据的效率就是企业的生命。
2.大数据成为国家和企业的核心资产
2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称,数据已成为一种新的经济资产类别,就像货币或黄金一样。奥巴马政府已把“大数据”上升到国家战略层面,2012年3月,美国宣布投资2亿美元启动“大数据研究和发展计划”,借以增强收集海量数据、分析萃取信息的能力。美国政府认为,大数据是“未来的新石油”,一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来对数据的占有和控制甚至将成为继陆权、海权、空权之外国家的另一个核心资产。
对企业来说,数据正在取代人才成为企业的核心竞争力。在大数据时代,数据资产取代人才成为企业智商最重要的载体。这些能够被企业随时获取的数据,可以帮助和指导企业对全业务流程进行有效运营和优化,帮助企业做出最明智的决策。此时,企业智商的基础就是形形色色的数据。
大数据在重新定义企业智商的同时,对企业核心资产也进行了重塑,数据资产当仁不让地成为现代商业社会的核心竞争力。在大数据时代,企业必须熟悉和用好海量的数据,而互联网行业已提早感受到了大数据带来的深切变化。一些互联网企业已经完成了核心竞争力的重新定义。
3.大数据“蓝海”成为竞争的新焦点
大数据所能带来的巨大商业价值,被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。大数据正在对每个领域造成影响,在商业、经济和其他领域中,决策行为将日益基于数据分析,而不再是凭借经验和直觉。大数据正在成为政府和企业竞争的新焦点。各大企业正纷纷投向大数据促生的新蓝海。甲骨文、IBM、微软和SAP共投入超过15亿美元成立各自的软件智能数据管理和分析专业公司。在大数据时代,商业生态环境在不经意间发生了巨大变化:无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络,让以往只是网页浏览者的网民的面孔从模糊变得清晰,企业也有机会进行大规模的精准化的消费者行为研究。大数据蓝海将成为未来竞争的制高点。