数据解决方案专家表示,虽然每个金融企业的大数据解决方案不尽相同,但最终目都归结在对现有资源进行更为合理的分析利用,帮助客户的客户提供更有针对性的服务。
掘金之秘始于数据分析大数据新应用驱动金融业”网络研讨会视频直播显然,金融传统IT架构已经不能满足对数据海量处理的需求,需要尝试新的技术手段。英特尔Hadoop大数据解决方案就是其中之一。
英特尔是开源Hadoop的代码贡献者之一,其Hadoop发行版的组件也是由开源项目构成:HDFS分布式文件系统;HBase分布式数据库;Map/Reduce分布式计算框架等
IntelHadoopManager2.3其中,英特尔致力于Hbase功能增强,实现了基于HBase的高效率复杂查询和统计汇总功能,使得传统上以高性能读写为特色的HBase也可以支持复杂的数据处理。
实现了基于HBase内数据的HiveQL前端功能,可以使用HiveQL语言实时查询统计HBase中的数据,使其更加符合企业复杂数据处理的需要,比原来基于MapReduce的HBase统计有几十倍的性能提升。
另外,英特尔Manager功能,能帮助企业进行更好的安装、配制、管理、监控等工作。使企业用户更加易于管理和监控,真正使IT经理把精力放在业务开发和最后的维护工作,把Hadoop平台的维护工作完全交给英特尔的Hadoop发行版的实现。在保护金融关键性数据和应用安全方面,英特尔Hbase提供访问授权功能,使得原有授权基于族群细化到可以直接针对到某一个列或者某个数据、某个单元的访问权限控制。这使得在大型系统上,真正关键性的数据和应用,它可以极大的保护它的不删除、不修改或者非法访问,使金融系统更加安全可靠。
英特尔大数据解决方案专家王晓栋在介绍Hadoop技术平台优势后,分享了一个英特尔为四大国有银行之一提供的大数据平台解决方案。
英特尔大数据解决方案专家王晓栋金融大数据应用案例:中国四大银行之一王晓栋介绍,国有银行在中国的网点和用户数量非常多,特别是近几年来,金融的活跃程度大大提升之后,使得原有系统很难支持用户大范围的交易查询以及各个网点内部人员的交易查询。
英特尔和这个国有银行进行合作,为它提出了基于Hadoop大数据的方案。将它所有的交易数据实时增量导入这个平台,并且能够存放几年。交易数据查询可在0.1秒内完成(并发用户数达600);交易数据增量处理每秒可达15万条,每天处理时间~4-5分钟;Hadoop还可以对于当中的所有交易数据进行批量的处理,定期账户批量处理9千万条不超出15分钟。
王晓栋表示,该银行活期交易每年会产生130亿条数据(4.5TB),原有传统业务构架很难支持。但对于英特尔提供的Hadoop发行版系统来说,可以达到秒级查询,可以轻松的支持这家国有银行的业务系统,甚至几年内可以非常平滑扩容支持将来业务的发展。