探索中国CIO人才现状 | 第四季调研报告
五矿集团的数据仓库建设实录
2014-11-27  来源:techtarget

中国五矿集团公司(以下简称“五矿集团”)是一家国际化的矿业公司,成立于1950年。五矿主要机构遍布全球28个国家和地区,拥有17.7万员工,控股9家境内外上市公司。近年来,多元化经营带来的管理问题并没有成为五矿发展的瓶颈,这背后重要的功臣是信息化技术的有力支撑。五矿是央企信息化建设先进单位,连续三年在央企信息化水平评测中达到A级。

早在2000年,五矿的第一个信息化规划出炉之时,秉承“小步快跑、量身定做”的规划理念,五矿信息管理部就自己打造了钢铁贸易ERP、有色贸易ERP等系统,把业务流程管理起来。此后,五矿又陆续开发了统一的标准用户权限管理系统以及十几套业务管理系统,这些系统的基础数据和用户权限都由统一平台进行管理。2006年是五矿信息化建设的一个关键年,因其企业内部经营范围的多元以及业务流程的繁杂,他们决定引进国际套装软件SAP ERP来整合业务与管理信息系统。

但是在系统上线后,五矿信息管理部发现经常使用SAP系统的领导层并不多,主要是因为系统中的数据非常细化,更适合运营部门使用。另外,五矿还有诸多如物流系统、分销系统、邮件系统等涉及不同业务范围和流程的专业系统,其中大部分都已运行多年,累积了大量的历史数据。随着业务的发展,无论领导层还是各级公司的管理人员、业务人员、HR人员,都希望能从庞杂的历史 数据中获得更多更准确的信息,将不同业务系统中的相关信息集中起来,实现各部门、各分支间的信息共享,为业务决策提供更多实时的、横向的、全局的支持,以提 高效率,帮助公司提高市场竞争力和效益。因此,建立一个统一的、高质量的管理与决策支持系统,成为中国五矿的迫切需求。2008年,项目建设正式开始。

数据仓库是管理与决策支持系统的 “地基”

建设高效的管理与决策支持系统,其首要一点就是要进行高质量的数据整合存储,其中涉及对多源数据的甄别存储、数据处理流程的改造、保证高质量前提下的数据统一整合等,这些问题需要通过数据仓库技术来解决。

具体来讲,系统建设过程中面临的数据整合存储的问题包括:

由于源数据来自于SAP R3、物流系统、分销系统等系统,无法快速的对这些系统的数据进行整合,并实现全量和增量的抽取; 在读取数据的时候,无法保障对源系统的影响,对各业务系统带来很大压力数据抽取压力较大; 最终的数据展现涉及到很多的业务系统,很难保证数据能规则并且准确的进入各个展现系统; 由单独数据采集平台处理的手工录入数据,也需要统一集成处理; 运行多年的诸多业务范围和流程的专业业务系统,累积的大量历史数据如何更好地存储。   

数据仓库可以称之为管理与决策支持系统的“地基”,能够把来自于不同业务系统的数据有机地集中整合处理,建立统一数据整合存储平台。五矿对于数据平台的要求不仅仅是能够提供及时灵活查询和分析,还能够提供符合五矿要求的复杂报表,只有这 样的数据展现平台才能够满足五矿的不同管理层和业务部门的需求。

在选择数据整合方案时,五矿综合比较、测试了多家知名厂商的ETL产品,最终决定采用Informatica产品建立高效稳定的数据集成平台,对多平台、多业务系统、多数据库状况下复杂结构的数据进行整合,并实现全量和增量的抽取。

谈到为何选择Informatica产品,五矿信息管理部副总经理何瑞娟女士表示,他们从ETL对平台的支持、对数据源的支持、数据转换功能、集成和开放性等方面进行了全方位评估,Informatica PowerCenter产品在这些方面都有突出表现。同时,Informatica在接驳SAP系统方面具有成熟的实施经验,能够完全理解五矿的业务需求。除了产品本身性能外,厂商所拥有的专业的数据管理理念,以及技术支持团队的专业能力及服务态度也是他们的考量点。良好的合作氛围以及过硬的产品性能,提升了五矿的使用体验。

整个数据仓库分为源数据层、缓冲层、整合层及展示层四部分,具体来讲,通过Informatica PowerCenter对各种源数据的整合,把SAP、物流、分销、集中结算等系统数据采集到一个临时缓冲区中,然后通过产品的数据清洗和标准化功能,把采集到得数据进行标准化。Informatica PowerCenter的高性能的吞吐量和对复杂业务的强大计算优势,能够把标准化的数据进行复杂的计算后准确的展现在报表平台,然后应用于各个系统中。Informatica PowerExchange for SAP主要负责读取SAP数据。

高效稳定的数据整合平台提升决策水平  

通过建立企业级数据仓库,五矿建立了一个高效稳定的数据整合平台,将不同业务系统中的相关信息集中统一管理,实现了数据的标准化处理以及面向销售、采购、财务、库存、预算即时查询、多维分析功能。作为一个核心数据整合引擎,Informatica PowerCenter帮助五矿实现了下述功能:

  • 集成了SAP R3、物流、分销、集中结算等业务系统,以及财务、销售、内控等系统的数据,扩展性强; 
  • 提供高效稳定的数据集成平台,快速且准确的提供各个展现系统所需要的数据;
  • Informatica产品无编码、图形化的开发,大大缩短了项目上线周期;   

在数据流动的过程中,大大减轻了各业务系统的供数压力,实现了完整的全公司数据统一集中管理环境,各种取数和报表不需要在业务系统数据库中直接抽取,确保业务系统的安全。

对于数据整合平台的作用,何瑞娟做了一个形象的比喻,认为它更像是企业管理与决策支持系统底层的一个枢纽与基石,如果不出问题,可能发现不了它的重要性,一旦发生一点闪失造成的结果会是整个系统全部瘫痪。

现在,五矿的管理与决策支持系统应用情况非常好,五矿对内、对外的所有权威统计数字都来自此系统,高质量的数据为领导决策提供了有力的支持。比如,五矿每个季度举办的高层战略咨询会,集团各执行部门领导和各业务单位的管理人员都会通过系统的各种数据分析进行整体业务经营讨论,发现问题、制定下阶段计划。不仅仅是决策支持,在战略、业务、管理、流程、人才等五个层面,管理与决策支持系统都发挥了重要作用,并且各业务单位也纷纷在此平台上搭建各自的系统,利用统一的数据整合平台扩展业务,提升竞争力。