展望未来的习惯要追溯到很久以前了。这一度是靠星相命理和预兆来完成的。现在则靠的是流数据库、神经网络算法和MapReduce数据清洗。没变的是获得可靠和“可行动”的预测仍然是个挑战-尤其对于企业来说。
在资本市场以外,这一步伐也许迈得还要更慢。华尔街一直都走在技术的前沿。但是事件处理和预测分析技术(有人也把它称作是策略)在其他行业也在尝试。随着不同的企业寻找新的竞争性优势,他们在逐步寻找其相互融合的部分。这两种方案,加上如Hadoop之类相关的“大数据”技术,也许已经为企业决策制定方法的改变做好了准备。
按照英国MWDAdvisors的研究总监NeilWard-Dutton的说法,事件处理和预测分析是“相当具有互补性的策略”.除了资本市场以外,这些策略还可以一并运用到在线销售和营销、呼叫中心、电信等行业上,他说。Web数据的爆发是事件处理和预测分析更广泛使用的主要驱动力。
这些现在热得发烫的技术既熟悉又陌生。事件处理是计算的一个独特的分支,它跟踪“流”的出现并寻找其底层模式。事件处理的复杂版-CEP,其名字也是恰如其分,复杂事件处理,CEP组合了各种来源的数据以便形成更为复杂的模式供处理。根据意外的市场条件寻找有价值的股票的计算机一直以来都是CEP的最好范例。
与此同时,预测分析是一种方法论,它把专门算法运用到数据集当中,然后创建出基于概率的预期活动预测模型,这个跟用于为不同类型的人群计算风险和自动保险费率的保险精算表没什么两样。
事件:我们的数字足迹,我们自己
事件一直就在那里。只不过不是数字化而已。“不留数字足迹的人现在留了,”Ward-Dutton说:“现在几乎所有的东西都会留下足迹。”此外预测分析为处理数字事件提供了新的可能性,他说。但是把对业务目标的事件处理和预测分析联系在一起是重要的。
把事件技术跟操作联系在一起,让分析结果跟应用集成及有用的商业活动关联,这些对于业务流程管理(BPM)的实践者来说是重要的。ebizQ对业务和IT专业人士的最新调查表明,事件处理技术很大程度上是由渴望更好的运营所驱动的。受访者中大多(69%)把“运营效率”作为事件处理技术活动的主要目标。
不过分析也有自己的立足点:在ebizQ的调查中,28%的受访者以“支持商业智能/分析计划”作为事件处理工作的主要驱动力。与此同时,在同一份调查中,“与其他应用/系统的集成”(71%)在对决策管理的挑战清单中名列榜首,“分析与行动的关联”则在挑战中位居第二(44%)。
什么是混合了事件处理和预测分析的例子?应用和垂直利基市场可以是多种多样的:
*制造商预测工厂机器失效及预订替换零件。
*部署软件来加速医疗设备临床试验,以更短的时间推向市场。
*程序预测住院患儿感染败血症的可能性。
*金融服务公司观察网站日志及与危险安全事件相关的活动
*汽车制造商设置高度自动化的欺诈预测过滤器,可更好地进行审查以选定租车候选者。
旅行网站根据苹果产品用户的假期花费意愿的可能性,提供不同的促销信息。
Ward-Dutton在2012技术预测中强调了核心BPM能力与互补的平台元素(“包括事件处理、业务规则和实时/预测分析”)融合趋势上升的重要性。理解事件及触发器,以客户细分之类的模型结合这些事件流得到相关的剖析,这些都可以成为非常强大的工具,他说。
CEP:正在缓慢地走出资本市场
随着各种规模的组织要应付越来越多Web创建的数据,CEP开始纳入考虑范畴。然而,迄今为止,CEP的主要基地仍是银行和股票交易。CEP从资本市场起步,运用于算法交易活动中,但是,除了一开始的顾客以外,CEP还一些成功故事,PhilipHoward说。他是英国Bloor的研究总监。他看到了各主题的一些关联。
首先,他说,若干公司已经在CEP上进行投入来支持BPM和SOA.其次,安全信息和事件管理已经成为CEP的一个特别的运营利基市场。最后,CEP在这些地方跟实时分析相匹配。“我的基本观点是事件处理对于预测分析很有价值,但是这块市场尚未启动,”Howard说。
Ward-Dutton给CEP的成功故事追加了供应链优化及船队物流优化。CEP再加上预测分析已经在通信领域显示出它的价值,他说。在这一领域,流失率,即客户损失的情况是一个至关重要的问题。
“比方说,对于一家移动公司而言,如果你将智能与对事件流地理解相结合,那么就可以检测出诸如客户在一周掉话了4次的事件,”他说。“你可能从该客户的特点了解到这会导致他离网。”
不过在手头有合适的软件的情况下,“你可以采取行动,给他们一些条件,”Ward-Dutton说:“这也是SOA、BPM及事件发生关系的地方。”
Hadoop、PMML粉墨登场
今天的复杂事件处理和预测分析都需要特别的技能。这会极大地增加实施的开支,也会给软件架构师带来额外的压力来让软件保持运转顺畅。
与此同时,新兴的标准给提高这些类型开发的通用性显示了一些承诺。其中一个是预测模型标记语言(PMML),该语言支持可移植的符号,可用于开发预测模型和模式过滤器。
一个讨论得更广泛的标准是ApacheHadoopMapReduce软件框架。这是一个专门针对分布式计算机系统的基于Java的分布式文件系统技术。有人甚至把Hadoop称作是大数据的典范。
“Hadoop的确很擅长于大规模数据令人尴尬的并行问题,”DouglasMoore说。Douglas是位于加州山景城的专业服务机构ThinkBigAnalytics的首席顾问及架构师。
Hadoop的核心前提是降低软件和开发成本,这会对业务线的领导构成吸引力,促使全新的应用出台。该框架已经作为某些CEP引擎的附属品出现了。预测分析也已在Hadoop集群中出现。
当然,也有不好的地方。
首先,它还是个新生事物、尚未成熟。这要求开发者开发自己的工具来满足众多需求。也许最重要的是:它的这种新鲜让程序员退回到已多年未见的数据集成中去。有的会发现编程模型存在约束。对于精通SQL的程序员来说,跳到Hadoop会是件困难的事情。
当然,现在还为时尚早。
“大多数人仍在测试Hadoop.有的人则是真枪实干,”PhilipHoward说:“我担心的是大家光强调Hadoop而忽视了其他替代方案。几乎人人都只往Hadoop的方向看,一叶障目。”Philip是英国BloorResearch的研究总监。
NEILWARD-DUTTON提供的CEP的关键因素
按照NeilWard-Dutton的说法,成功把业务目标与技术诀窍相匹配对于事件处理与预测分析的成功匹配必不可少。Ward-Dutton是英国MWDAdvisors的分析师。
显然,这是最新技术,实施目标应当要小心挑选以免解决的问题不对,他说。此外,制定数据加载的标准也是个问题:对大数据的帮助规模太大会成为问题。
“其关键的一块是让领域理解进入项目-不仅仅是从技术的角度来看待它,还包括业务的角度,”Ward-Dutton说。
这一挑战是一个鸡生蛋还是蛋生鸡的问题,他继续说。技术专家和业务分析师必须很好地协作:“业务分析师说,‘如果我把客户流失率降低X%会怎样?我们如何才能做到这一点?我们有哪些信息是可以利用的?’分析师进行访谈以便弄清楚客户离开的原因是什么,是什么导致了客户流失,”Ward-Dutton说。
“然后有必要看看如何进行权衡,”他继续说:“如果你只是从技术角度看,你会看到许多疯狂的创意。”
解决方案是,他说:在理解业务和技术的人之间树立良好的合作关系。“事实上,使用小一点的数据集你也可以得到相同的结果,”他说:“有时候收益递减规律是成立的。”