最近网络中流传一些对大数据质疑的文章,他们认为大数据在新兴技术的炒作曲线中有下滑的趋势,或许很快就会跌到谷底。但仍有厂商还在大力推崇自己的大数据产品,这样的情况是背水一战还是质疑本身的问题,我想现在没有一个准确的答复,因为一切的一切还只是一个开始。
在《大数据的兴起:它是如何改变我们看待世界的方式的》这篇文章里,《经济学家》杂志的编辑肯尼思库克耶和牛津大学教授维克托?迈尔-舍恩伯格解释说,大数据已经迅速兴起,而且已经占据了舞台的中心,原因在于目前的数字信息比以往任何时候都多。2000年的时候,全世界存储的信息中只有四分之一是数字信息,因此必须进行搜索和分析。自那以后,数字数据差不多每三年就会翻一番,据估计,只有5%的数字结构是结构化的且能适用于传统数据库。如果不接受混乱,剩下95%的非结构化数据都无法被利用,比如网页和视频资源。通过接受不确定性,我们打开了一个从未踏足的世界的窗户。
新的大数据工具有可能会引发一场基于信息的科技革命。就像望远镜、显微镜、光谱分析仪和DNA测序仪导致了新的科学学科产生一样,数据科学现在正迅速成为大数据的学术伴侣。数据科学最让人激动的地方之一是,鉴于我们刚刚获得了收集差不多任何主题(包括医疗保健、金融、管理和社会科学)方面有价值的数据的能力,大数据可以应用于差不多任何知识领域。不过,就像所有的科技革命一样,这需要时间。
《大数据时代》一书中指出,大数据提供的不是最终答案,只是参考答案,为我们提供暂时的帮助,以便等待更好的方法和答案出现。这也提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。
大数据专家,电子科技大学互联网科学中心主任、教授、博士生导师周涛教授认为,大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。大数据的核心就是预测。这个核心代表着我们分析信息时的三个转变。第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。第二个改变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系。
“使用大数据有时意味着放弃追究为什么,以换取弄清事物是什么……这表示人们开始放弃了解世界如何运作背后的深层原因,转而仅仅去了解现象之间的联系并利用这种联系来完成任务,”库克耶和迈尔-舍恩伯格写道,“当然,弄清事物背后的原因是可取的。问题是原因经常很难查明,很多时候我们认为自己找到了原因,其实那不过是一种沾沾自喜的错觉。行为经济学已经证实,人类在原因不存在的地方也习惯于看到原因。因此我们需要特别警惕,防止我们的认知偏见迷惑我们;有时,我们只需要让数据说话。”