大数据挖掘在煤炭企业安全管理中的运用.docxVIP

　　摘要从大数据环境下煤矿企业安全管理面临的挑战出发，应用大数据挖掘技术构建了煤炭企业安全管理体系结构。 　　实现了数据的集中分析和深度挖掘，提升了信息利用的深度和广度，是对大数据时代煤炭企业安全管理的有效探索。 　　关键词大数据挖掘；安全管理；煤炭企业；信息煤炭企业安全管理在煤炭生产中占有重要地位。 　　然而，煤矿安全事故涉及多参数、多目标、海量复杂的信息，如何及时、准确、有效地识别影响煤炭安全生产事故隐患、提升煤炭企业安全管理是当前研究和关注的热点之一。 　　伴随大数据时代的到来，大数据挖掘逐渐渗透到各个领域，各行业纷纷加快大数据的应用规模，提升企业的竞争力。 　　在此背景下，煤炭企业安全管理也应将关注点转向大数据，提升信息利用的深度和广度，对大数据时代煤炭企业安全管理进行创新式探索。 　　1大数据挖掘概述1大数据大数据是指数据量超过传统数据库系统处理能力、数据规模和传输速度要求很高的复杂数据的集合。 　　大数据的特点可概括为4个，即体量大、多样化、生成快、价值大。 　　大容量是指需要进行分析处理的数据量非常浩大，使用传统的数据处理工具往往不能在合理的时间内处理成预测趋势和指导决策的信息；多样化是指大数据包括来自不同领域、不同设备、不同平台的各种类型数据；快速化是指对数据获取、处理、分析和应用快速；高价值则是指挖掘出的知识对预测趋势有重要作用，是指导决策的重要依据。 　　大数据的特点表明，大数据有助于发现新事物、预测事物发展趋势，也决定了原有的数据处理方式已不能适应大数据挖掘的要求，需要新的处理技术来有效地组织和使用大数据。 　　2大数据挖掘技术大数据挖掘目标是将大容量数据转换为有用的知识和信息，其关键技术主要包括数据采集、数据预处理、海量数据存储、数据分析及挖掘和数据的呈现与应用。 　　大数据的采集、预处理与存储技术大数据的采集技术既包括通过数据传感设备、智能识别终端及资源接入系统等实现对海量数据的识别、接入、传输、监控、初步处理，又包括提供大数据的一些平台，如数据库、系统等。 　　预处理技术主要包括数据清理、集成及变换。 　　数据清理可去掉噪声数据及异常数据，纠正数据中的不一致，可以采用传统数理统计方法实现。 　　数据集成从来自不同数据源的数据中提取出关系和实体，经过分类、关联或聚类后采用统一的结构来合并成一致的数据存储。 　　数据变换可以将不同度量下的数据归一化，使得数据的应用有意义。 　　大数据存储的关键技术是分布式文件存储系统。 　　该系统由若干个分布集群组成，1个分布式集群一般由1个主服务器和大量的块服务器构成，许多用户可以同时访问。 　　大数据的分析技术目前大数据的分析方法主要有并行计算、实时计算或流式计算。 　　并行计算是指同时使用多个计算资源完成运算。 　　其基本思想是将问题进行分解，由若干个独立的处理器完成各自的任务，以达到协同处理的目的。 　　已涌现出大量挖掘算法能运行于并行架构上，如非平凡策略、基于核函数的挖掘算法、传统的数理统计方法和并行结构相结合算法等。 　　实时计算处理通过建立新的概要数据结构以近似表达数据流，并使用传统的挖掘算法对概要数据结构进行分析，获得近似的数据挖掘结果。 　　获得概要数据结构方法有直方图、哈希技术、随机抽样、小波变换等。 　　目前应用广泛的实时计算或流式计算方法大多是采用二层框架的模式，在线部分计算数据概要信息，离线部分进行数据挖掘。 　　2大数据环境下煤矿企业安全管理面临的挑战1数据存储和预处理能力难以满足大数据量要求庞大的数据量的存储和预处理不能通过简单地升级原有服务器的方法来解决，要有具有可扩展性和容错能力的数据存储框架和预处理平台。 　　2复杂的数据类型对数据融合提出了挑战安全事故的发生是多种因素共同作用的结果，需要分析多方面数据一方面要获取更多的数据，对比不同环境下哪些变化与事故的发生相关；另一方面要进行历史数据对比。 　　目前，虽然在时间上采样率不断提高，但是在空间上监控监测数据还很不完备。 　　同时，各个系统数据标准不一致，难以在纵向和横向上实现数据的融合。 　　3数据的处理难以满足高实时性要求广泛分布的远程站点高速、连续地产生异构的数据，要求实时完成对新到达数据点的处理。 　　这就要求大数据挖掘系统能动态适应业务分析需求，快速响应复杂的查询，具备实时的分析处理能力，而传统的数据处理技术只能处理小规模的数据流。 　　4大数据挖掘结果需要有效的可视化手段大数据挖掘的最终目的是将信息呈现给用户。 　　目前我国煤炭企业既懂各领域专业知识，又懂数理统计，还懂业务流程、信息技术的复合型人才极其匮乏，安全管理人员往往无法正确理解抽象的数据挖掘结果所蕴含的信息。 　　3基于大数据挖掘的煤炭企业安全管理体系