伴随着大数据在IT项目中的逐步深入的应用,现如今,在新兴的存储的结构化和半结构化数据准备好运行,并借助其进行业务分析或高性能计算(HPC)之前,需要对其进行整理已然成为了普遍的共识。
这项工作的过程中可以利用重复数据删除和数据清理工具,但IT重新审视其信息治理政策,以确保所有的努力都是运行在正确的轨道上也同样重要。
例如,从2010开始,美国国家保险专员协会(NationalAssociationofInsuranceCommissioners,NAIC)规定保险业采用新型审计规则(M.A.R.)。该项规则是对所涉及的许多保险公司丑闻的回应,其目的是提高业界透明度和加强内部控制。可以预见的是,新的规则也影响了数据的政策,包括大数据的政策。
为越来越大量的数据时代的到来做好迎接准备,以便满足新的监管要求,绝不仅仅是一款工具或自动化就能够简单解决的事情。相反,IT部门与其他相关的业务方面的关键人员必须共同决定哪些大数据应该被存储和收集,以及应该如何定义个人数据。
尽管IT部门可以借助工具潜在的评估这些数据是否是高质量的。然而,即使IT部门这样做了,最终签收的仍然则是最终业务用户。
一旦确定了哪些大数据应该被收集和存储、并进行相关的数据清理和准备工作,就必须以相关“活文件”的政策、标准和程序,管理所有的大数据资产。
相关的业务方面的关键人员包括整个企业中从CXO级别的管理人员到业务部经理以及IT工作人员,都必须遵守这些政策协议。当然,行业监管机构可以采访所有的这些相关的工作人员,检查明文规定的政策和程序,以确保企业的相关政策符合行业监管机构的规定。
最后,对于IT部门来说最为重要的是,确定收集和存储大的数据必须高度符合的终端业务信息的要求。为了做到这一点,CIO和其他IT工作人员必须积极的与整个企业的各个业务单位的同行配合,以确保每个人都遵循相同的大数据政策和程序,以便让企业所需要的大数据类型被存储、收集,并符合其最终的经营宗旨。
所有上述这一切都是艰难的,劳动力密集的工作,可能并不总是出现在项目的时间表里,但却是必不可少的。
IT部门如何确保其管治满足大数据发展的步伐?
协调监管和审计,提前确保你的企业所管治的大数据是最新的。同时也必须意识到,未来相关管理法规的变化,可能会影响数据治理。
大数据项目是跨学科的,因为大数据的有效管理是每个人的责任。
确保IT的治理技术,了解企业内部哪些相关的业务部门也在同时进行数据管理方面的工作,通过适当的大数据工具获取和管理数据,以满足治理方面的标准。