探索中国CIO人才现状 | 第四季调研报告
数据挖掘技术在煤矿企业中的实践探索
2014-02-24  作者:万方数据 

  0前言


  随着互联网技术的发展,更多的数据往往能够让我们获得更多的信息和知识,但如何从这些数据中挖掘其潜在价值来帮助自己解决问题,成为现代人们极度关注的问题,因而应运而生了数据挖掘技术。所谓数据挖掘指的是从海量的信息数据中挖掘那些未知的,具有一定规律和价值的信息,主要涉及到数据库技术,人工智能等多种前沿科技,如今发展已经相当成熟,在很多企业里都得到了广泛的应用。其中煤矿企业涉及到大量的安全数据,以及日常的办公管理数据,这些数据都需要依靠数据挖掘技术来提升煤矿企业的管理和安全水平。本文的重点就是从分析数据挖掘技术概念开始,探讨一下煤矿企业当前在安全和企业管理上面临的问题,以及数据挖掘技术在煤矿企业里的一些实践的应用分析。


  1数据挖掘技术概念分析


  数据挖掘技术主要依靠数据之间的关联,数据的分类和潜在的发展方向,通过聚类分析、异类分析及演化分析来实现对数据的挖掘,发现数据的潜在规律,透过数据能够给企业的管理和安全以及其他科学技术的研究带来一定的参考价值。目前数据挖掘技术主要包括下面五种技术:


  (1)关联分析技术


  这是目前比较主流的数据挖掘分析技术,关联分析技术的核心是从数据集团里面发现数据之间的关联,而所谓关联则是有两个或者两个以上的变量存在着某种规律,这种规律可以通过一系列的方法发现,并且分为简单关联、因果关联以及时序关联等。通过关联分析就是发现数据集团中所隐藏的关系网,在这里主要通过支持度和可信度这两个因素来衡量数据的相关性,然后再引入其他的参数,比如数据之间的兴趣度以及相关性等参数,从而挖掘出符合需求的数据。


  (2)分类和预测的技术


  分类和预测是一个相辅相成的关系,通过从数据集团中,找到能够准确描述数据集合的特征函数,并且根据这些特征函数将数据识别,并进行归属和分类,在这里还需要通过预测的方式,进行综合分析,从而更加准确的实现对数据集团中不同模型下的数据分类,这个过程实际上又是一个将未知事例映射到看起来非常离散的类别的过程。所谓分类函数或者是模型指的是通过分类挖掘算法将一组看起来并不很清晰的数据集,通过计算和挖掘转变成已知的归属。这些分类函数或者是模型可以通过多种形式进行描述,比如分类规则、决策树还有神经网络及数学公式等方法。比如在煤矿企业中在客户关系系统中的应用,通过对煤矿企业的客户信用等级进行预测和分类,从而实现对客户的管理。


  (3)聚类分析技术


  在数据集团里,存在着大量的没有归属的数据,这些数据往往也会具有某种归属,只是因为相对隐蔽,所以这种归属不能够准确的结合现有归属进行划分,这时候就可以通过聚类分析技术来实现对这些未知归属的数据进行挖掘。聚类分析技术的基本原则有两点,其一,将内部数据相似度比较大的对象进行聚集,这些内部数据要坚持最大化原则;其二,要保证不同的聚集对象相似度要最小化。这个过程可以使用不同的数据计算公式来区分数据之间的相似度,通过聚类分析将那些没有归属的数据划分成不同的数据组,这些数据组之间相似度要最小,而数据组内部数据相似度要最大。


  (4)异类分析技术


  数据集团中大量的数据都是离散的,虽然通过聚类分析以及分类预测等方法都不能够将所有数据分类分析完成,还有很多不符合规律的数据就被称为异类,这些异类的出现往往都和一些小概率事件有关。而在煤矿企业的安全管理中,往往就对于这些小概率事件进行极大的关注,所以异类分析技术对于煤矿企业的安全管理具有十分重要的意义,而且小概率事件往往也体现在煤矿企业的管理层面。比如在煤矿企业的CRM客户关系管理系统中,如果存在异类,那么就可能存在一些商业骗局,通过针对异类分析,从某种意义上来说要比那些有规律性的数据挖掘更有意义。


  (5)演化分析技术


  数据对象还有随着时间产生变化的属性,这些变化往往就需要通过演化分析技术来掌握这些数据所反映的趋势,从而通过这些数据来为企业的管理提供支撑。而演化分析技术主要通过概念描述,对比概念以及关联,时间相关数据等不同方式进行综合分析,这个趋势化分析仅仅提供一些可能,但是是否会真的就向这些方向发展,这会随着演化分析技术的成熟变得接近,但是一致的可能性相对来说就非常困难了。


  2煤矿企业在安全和管理方面的现状


  在过去的十年里,我国煤矿企业大大小小事故超过数千起,正因为煤矿生产本身存在高危属性,所以加强煤矿安全建设已经成为业内的共识。近几年我国不少煤矿企业已经开始引入国外的先进管理技术,比如引入了安全生产管理系统以及各种先进的企业管理系统如CRM客户关系管理系统,从而有效的改善了我国煤矿企业的安全和管理水平。最近几年虽然偶尔也会发生煤矿瓦斯事故,但是其事故的规模和死亡人数已经开始减少,特大型事故在最近几年少有发生,煤矿企业在安全生产管理和企业管理上取得的进步。但是不可否认的是我国煤矿企业的安全管理水平相比还存在着一些问题,主要体现在下面几个方面:


  (1)安全生产管理系统的使用不是很熟悉。虽然不少煤矿企业结合企业现状,在井下安装了瓦斯感应器、矿井通风感应器、井下考勤系统等,但是在实际使用中,因为管理的混乱,以及对新的数据挖掘技术的掌握不够透彻导致了一些潜在的隐患并不能够及时的被发现,从而酿成一些本可避免的事故。


  (2)企业管理方面的问题。最为常见的问题就是客户关系的管理,虽然现在已经有很多煤矿企业已经上马了ERP系统,而在ERP系统中,有一个重要的模块就是客户关系管理系统,这往往能够有效的对客户和供应商进行管理,从而提升企业的竞争力。但是由于我国煤矿企业的改革深化程度不一,有的煤矿企业的销售渠道仅仅是运往火力发电厂,这对于某些煤矿企业来说,客户关系管理系统往往形同虚设,起不到有效的管理作用。


  (3)煤矿企业的网络安全问题,这基本上是目前各类企业都会面临的问题之一,不过对于煤矿企业来说,网络安全显然更加重要,一旦存在安全隐患,将会直接影响到煤矿企业的安全生产管理,甚至有可能造成严重的安全事故,所以提升煤矿企业的安全防范能力也是当前煤矿企业必须要面对的一个问题。


  3数据挖掘技术在煤矿企业的实践应用


  数据挖掘技术现在已经在煤矿企业得到了广泛的应用,其中基于计算机网络技术的煤矿生产安全系统,以及计算机网络安全和煤炭企业的管理系统都普遍使用到了数据挖掘技术,下面就从这三个方面具体进行分析。


  3.1数据挖掘技术在煤矿企业的安全生产管理上的应用


  在煤矿安全生产管理系统里,一般会对有四大基础系统,分别是井下的瓦斯控制系统;矿井通风系统;以及考勤系统和监控系统。其中瓦斯控制系统是通过在矿井各重点通道安置瓦斯感应器,感应器采集数据然后通过井下转发器,再通过传输装置传输到地面的计算机数据处理中心;而通风系统同样也是通过通风感应器将井下数据传输到地面的控制中心,而考勤系统和监控系统也是通过计算机网络传输到地面控制中心。因此在地面控制中心就存在着大量的采集数据,这些数据的处理就需要通过数据挖掘技术,通过分类和预测将一些常用的数据进行归属,从而监控这些影响安全的数据的变化。而对于存在异类的数据则进行重点调查分析,查看这些异类数据时如何产生的,然后再通过演化分析,对这些异类数据进一步分析,确保这些数据不会出现严重的问题,同时经过不断的巡查将这些异类数据控制到最低水平,从根本上提升煤矿企业的安全生产。实际上地面数据中心就是一个巨大的数据集,而管理系统则是通过各种基于数据挖掘技术对这些数据进行处理,从而实现的数据化现代生产安全的管理。


  3.2数据挖掘技术在煤矿企业网络安全方面的应用


  煤矿企业的网络安全显然非常重要,对于企业的网络安全的保障往往要通过两个方面来进行,一方面是对硬件方面的保护,目前而言没有相关的系统软件对硬件数据进行分析,需要通过人工的方式进行例行的巡检,增加一些防护措施。比如在计算机机房铺用防静电地板,给服务器及相关设备安装UPS不间断电源,提升计算机机房的净化程度,从而实现对硬件的保护。而另一方面,影响计算机网络安全的问题就是计算机病毒和黑客入侵,而且这个问题几乎是难以避免的,只要系统会通过互联网采集数据,连接互联网就不可能避免,目前主流的防范措施就是通过安装杀毒软件,规范企业网络安全行为的方法。而实际上很多杀毒软件通过智能化的入侵检测技术,通过数据挖掘技术,已经开始对很多未知的病毒有了一定的识别度,从某种意义上来说,数据挖掘技术对于提升计算机网络安全的能力已经得到了广泛的应用。


  3.3数据挖掘技术在煤矿企业CRM系统上的应用


  现在很多煤矿企业已经不仅仅局限于将产品直接销售到某个火力发电厂,现在煤炭的应用范围十分广泛,所以存在的客户群体也是非常广泛的,因此现代煤矿企业都基本上在使用CRM客户关系管理系统,这个系统被证明对客户的管理具有十分重要的意义,能够有效的防止客户的欺诈行为以及防范企业应收款风险。而实现这个功能,从很大的程度上都是依靠数据挖掘技术中的异类分析,通过分析客户关系管理系统中的异类数据,发现这些客户存在的问题,是账款不能够及时到账,还是这些客户存在流失的风险,有效的提升企业对客户的服务水平。


  4结语


  随着互联网和数据库技术的深入发展,数据挖掘技术体现出了巨大的效果,能够帮助煤矿企业从海量的信息中提取出有知识、有价值的数据,对于煤矿企业领导层的决策,提升企业的核心竞争力都具有十分重要的作用。这也是为什么现代煤矿企业已经在各个领域里充分实践数据挖掘技术的根本原因。