随着业务的扩大,信息化的深入,能否快速处理海量数据并有效进行实时分析,将决定企业是否可以迅速应对市场行情变化、做出决策,从而占得发展先机。据研究机构预测,在未来2~5年中,45%的企业将投资于“大数据”,以确保在竞争日益激烈的商业环境中,即时访问和分析所有运营数据的能力。可以预见不远的将来,企业将面对不断爆发的数据量、不断增长的数据类型和数据处理速度的不断加速;同时业务用户要求对数据更深的洞察力和更广泛的数据范围,并能够访问最新的数据,实时回答无延迟。在这样的背景下,从海量信息中尽快获取有价值的信息就显得弥足珍贵,SAPHANA(SAPHigh-PerformanceAnalyticAppliance)应运而生,该实时数据平台拥有对大数据进行分析、存储和处理的强大功能,可以充分挖掘大数据的商业价值,帮助企业紧抓机遇,进行实时决策。
1SPAHANA简介
在信息处理领域,HANA至今对很多人而言还是一个较模糊的,但是它是一个非常重要的概念,有着广泛的应用。HANA是一款面向实时商业智能领域的高性能分析应用软件,它借助主存储器、处理器技术和应用诀窍领域的最新成果,充分发挥内存数据处理的威力,使分析应用软件获得了前所未有的效能,并由此开启了一个全新的应用软件类别。
HANA是SAP公司的一种最新技术,进行数据的抽出、分析,提供高性能的数据查询功能,它一个独立的内存数据库,基于“列式存储”及“内存计算技术”的软硬件结合体;HANA是一套完整的解决方案,同时又有很多基于HANA之上的应用,在这种方案中,用户无需对业务数据进行建模、聚合等操作,只需专注于直接为用户提供对大量实时业务数据进行高性能查询及分析等操作。
HANA技术最大的特点是运用基于内存的计算技术,通过处理在服务器主存储器上的大量实时数据,获得分析和交易的即时结果,为客户即时洞察、预计未来和行动决策间的贯通提供持续的支持,从而实现更出色的经营业绩。
2HANA与传统数据库的区别
传统数据库的典型代表是关系数据库RDBMS(RelationaldatabaseManagementSystem),我们常用的商用数据库如Oracle、SQLSever、Sybase等,都是RDBMS。RDBMS在其技术的成熟度、可靠性、可用性等方面均获得了极大的成功。而在这个互联网信息爆炸的年代,使用传统的数据管理技术去应对目前高信息量的需求,所存在的问题也在日益突现,其主要原因就是对数据存取服务的实时性难以得到保障。
随着科技的进步,实时数据库系统,简称实时数据库(Real-timeDatabase,即RTDB)便因此应运而生。其中HANA便是RTDB的典型代表之一。SAPHANA不是简单地直接在内存里面建立整个数据库,而且把很多属于应用层级的东西跟数据库结合在一起,在存储过程里面,把很多非常通用的算法、一些优化算法,以及大家共同要做大数据处理的函数库整合在数据库当中,通过相应的程序来处理。HANA与传统数据库的区别主要体现在以下几个方面:
1)不同的存储方式。传统数据库的数据存储方式是按照行来存储的,在读取的时候也是通过读取每一条数据,这样的读取方式同样会给数据中心带来困难。一个产品如果按行存储的话要全部读取进去,再把这些数据全部拿出来这是非常低效的。而HANA通过列存储,把一个表按列进行存储,这样的话相当于把所有记录同一个字段的数据作为一条记录来保存,在这种情况下做数据分析会变的非常快捷,只要集中查找所需的列或者这些属性出来就可以做分析;
2)全新的内存计算技术。硬盘与内存的速度相比较,毫无疑问是内存的速度快。HANA是建立在新架构典范上的纯内存数据库,考虑到所有的数据库都是在内存中,所以HANA不缓存数据。其同时具备世界级的查询优化器,能轻易实现大规模并行查询的操作,包括运算符内部和运算符之间的并行查询。故HANA与传统数据库系统(RDBMS)的典型区别在于,数据库的全部或活动事务存取均在内存中执行,从而大幅提高了其运行效率;
3)高效的压缩比例。HANA在使用大内存提供内存数据库的同时,其内部采用的是列式存储,而列式存储的优势就是更适合数据压缩,再利用HANA的并行计算技术,HANA可以将更多的数据装入内存,在SAP与多个硬件厂商合作生产的支持HANA高性能服务器的配合下,从而实现高性能的数据查询,从另外一方面讲也有效降低了成本。
3HANA在信息处理领域的应用
3.1不同的应用,不同的HANA
HANA作为一个内存数据库,除了能够提供最基本的数据添加、删除、修改及高性能查询之外,作为一个平台,同时又有很多基于HANA之上的应用。从研发者的角度来看,SAPHANA提供了高效的工作流,还为研发人员提供了相应的标准接口,这对产品的高效研发提供了有效地支持及保证。从企业的角度来看,企业在业务运作期间,可以对海量数据去研究、探索所有的交易记录并对数据加以分析。同时可通过视图快速将分析结果呈现给用户,还可以近乎实时地将需添加的外部数据添加至分析模型并同步到内存中。简而言之,就是SAPHANA可以为企业提供高效的数据检索、分析处理的基础上,为企业获得应得的收益提供了有效地支持与帮助。
3.2典型应用分析
HANA可以应用在制造、医疗、游戏、金融等等各个行业,在过去的13个月中,HANA已经有了有462个客户,有超过200个左右的案例,39个解决方案。这里选取部分最新发布的解决方案予以分析。
3.2.1SAPSalesandOperationsPlanning
是一款由SAPHANA支持且基于“云”的应用,旨在使企业更加以需求为导向,将需求波动快速转换成行之有效的制造、采购和物流计划。从而帮助企业把销售、市场营销、财务、供应链和其他方面的利益相关者,整合到一个真正集成和协作的规划流程中。
3.2.2SAPCashForecasting
是一款基于SAPHANA平台的内部分析应用,企业可通过早期采纳计划获得。通过在异构系统架构中设置先进的现金预测和分析能力,该应用可帮助企业:根据SAP和非SAP系统(如ERP)中的财务数据进行准确的现金预测;根据多种货币敞口实时可视性制定有效的外汇对冲策略;解释细分至现金流报表项目级别的差异,执行现金预测前过账差异分析,从而更好地驾驭当今动荡的金融环境。
3.2.3SAPCollectionsInsight
提供销售团队优化收款策略所需的实时洞察力和执行层面的协同工具,企业可通过早期采纳计划获得。由SAPHANA支持,SAPCollectionsInsight可通过易用Web或移动应用程序访问,帮助企业提高收款能力、加速收益到现金进程和改善与客户的关系。
4HANA的优势和特色
据SAP全球执行董事会成员史维学博士介绍,目前HANA在全球的最终用户超过6.9万个,体验网站平均月访问者达4万,使用体验用户达4000人。在其交易处理性能上也达到了前所未有的高度――77万条记录/秒,每小时分析2.5TB数据量。EML基准测试可以展示65990次每小时的查询分析。用户选择HANA是因为其具有如下优势和特色。
4.1优势
海量数据集;非常复杂的SQL;快速响应时间;结构化数据和非结构化数据的结合;即时响应新生成的查询;无需预构建数据立方;基于实时数据的商业分析;目前平台无法支持的一些应用;简化系统环境,新旧应用运行在同一架构;添加处理器和刀片服务器形成无限的扩展能力。
4.2特色
1)加速数据的访问。把数据保存在内存中,提供现今最快速的服务;硬件方面,服务器采用多核架构,并行计算,使得价格迅速下降,性能迅速提升;软件方面,数据存储可以选择行存储或者是列存储,同时对数据进行压缩;
2)把数据分开处理。内存本地化,把大数据量和计算量分散到不同处理器;并行处理,不同的服务器之间也共享同一组数据;容灾性,单一的服务器的DOWN机将不影响任何计算;
3)最小化数据传输。压缩数据,把内存数据进行压缩,最大限度减少数据从内存传输到CPUcache中;把应用逻辑和计算由应用层转移到数据库层,最大限度地减少传输的数据量。
5HANA的缺陷
作为一个新的产品,不足之处在所难免,HANA需要改进之处主要体现在以下方面。
1)HANA不支持JOB定义和监控,需调用应用脚本和系统任务;
2)HANA目前没有给出接口调用模式,外部系统如J2EE无法进行方便的调用,也无Web服务调用方案;
3)不支持变量定义,复杂甚至简单的计算都无法实现(无法忍受),返回类型只有TABLETYPE;
4)操作系统兼容性不够,HANA目前只能运行在SuseLinux企业版(SLES)上。
SAP今年宣布了五大市场领域,这五大业务领域是在SAPHANA的基础上,分为企业应用、商业分析、移动商务、数据库和技术平台以及云计算。相信SAPHANA作为一个开放平台,未来将开放给更多的合作伙伴和客户,合作伙伴也可以基于这个平台开拓创新思维,开发创新应用,为企业创造更多价值。