高质量的决策通常都是从机器生成的琐碎日志文件数据中获得的。随着互联网的扩张,日志文件迅速累积,已成为企业中最重要的非结构化数据类型之一。对此,IT专业人士可以大展拳脚。
日志文件为机器性能和用户体验都提供了重要资源。如果将它们与其他数据一起分析,几乎能够得到所有类型的洞察力:流量服务监控器连接体验、医疗设备仪表盘、电台网络连接听众活动和宣传方案结果等。
人们还找到了日志文件数据更多的用途,致使企业大量关注收集索引这些机器生成数据(即原始大数据)的软件。
诸如IBM、SAS、Informatica这些大厂商开始研发收集日志数据的工具,而像Loggly、SumoLogic和Splunk这样的小厂商则专注于日志数据应用的需求。最近,Splunk以近两亿三千万美元的IPO吸引了广泛的关注,不仅仅是那些原有的数据中心客户。同时,Splunk发布了功能丰富的“运营智能平台”云软件。
很显然,该软件已经不是普通的IT系统管理软件,不过管理通道仍然照旧。
正如CricketCommunications的案例,如果能够减少客户流失、迅速处理并预测妨碍用户体验的网络问题,电信供应商的业务一定能够发展得更好。连接运营日志活动对于决策制定非常重要。
Cricket的高级运营经理TyPrinkki说道:“我们公司是最早使用Splunk产品的企业之一。”当时,Prinkki和同事希望通过攫取日志数据监控音乐下载的用户访问量。
日志活动的成功使用将有助于收集到更多的日志数据。正如Prinkki在今年年初的一次GartnerITxpo大会上所说:“我们开始的时候每天有200GB的数据量,到了今天已增至2TB,以后我们还会更多地开发日志方面的潜能。”
据称,日志数据收集帮助Cricket调整了产品的重点。“我们从日志中获得了洞察力,也就获得了设备的洞察力。”这些数据还能够运用到客户支持上,让工作人员根据具体的用户访问量发现客户问题。
在某些情况下,日志数据应用软件可用于复杂事件流程。Splunk被广泛应用于各个领域——医疗系统中的智能探测网络,旅行网站中的客户偏好分析,银行中的欺诈行为检测。
野村证券同样使用了Splunk的日志分析,并将其扩展到高性能的业务活动监控(BAM)上。
在野村证券,延迟就等于利益的损失。Splunk就像系统的一部分,针对应用错误生成警告,对问题根源进行分析,并将事件与系统程序和企业资产数据库进行关联。这与该公司购买Splunk的预期不符,却意外收获了一系列使用案例。
日志数据的潜能还有待开发。有人指出,日志数据应用软件工具可用作针对大数据应用的ApacheHadoop的替代;另有人把日志数据软件应用和Hadoop分析架构软件视为互补关系。
近期,Splunk发布了对数据进行实时收集、索引和分析的SplunkHadoopConnect,该工具获取的数据可以直接用于Hadoop归档和批量分析。