大数据技术在煤炭工业中的研究现状.docx

大数据技术在煤炭工业中的研究现状 摘要：在总结煤炭大数据大容量、快速性、多样性、真实性、可见性、价值等特征的基础上， 从煤炭大数据理论、煤炭大数据与物联网和云计算的关系、煤炭大数据平台建设方面介绍了煤炭大数据研究现状；分析了煤炭大数据的多层面不均匀采样性、多时间尺度特性、不真实数据混杂性等新特点及其对煤炭大数据分析带来的挑战；从大数据采集与管理、大数据分析、大数据共享方面对建设煤炭大数据平台功能进行了展望，并从应用领域探讨了大数据技术在煤炭工业中可能的发展方向。 关键词：煤炭工业；大数据；物联网；云计算；煤炭大数据平台 引言 随着传感器、计算机、通信、物联网、数据存储等技术的发展，以及企业信息管理系统的不断普及，制造工业等行业产生并存储了大容量数据，且随时间呈指数级增长[1]，工业界已经进入了“大数据”时代[2-3]，煤炭工业就是其中的一个典型代表。煤炭是中国的主体能源，其产业的健康发展对经济社会发展至关重要，甚至关系着国家能源安全。因此，迫切需要依托物联网、云计算和大数据技术，采集、存储和挖掘海量数据，从数据中探索解决煤炭“采掘机运通排”中若干问题，推动煤炭行业由生产自动化、信息自动化转型升级为知识自动化。麦肯锡的报告显示，就大数据的数量而言，诸如煤炭等领域的过程工业，其数据产出量及可被接入的设备数量远远超过移动互联网等其他行业，而且增速是其他大数据领域的 2 倍[4]。然而，煤炭大数据的利用却远没有在当前互联网领域那样普遍和深入，其中数据的价值还有待挖掘。本文阐述了煤炭大数据的特征及研究现状，并在分析煤炭大数据新特点的基础上， 对煤炭大数据平台的发展与应用进行了探讨与展望。 煤炭大数据特征 大数据分析手段主要是围绕大数据的“4Vs”(Volume――大容量，Velocity――快速性， Variety――多样性，Veracity――真实性)特性去发展与完善的[5-6]。除“4Vs”特性外，煤炭大数据还应该加上“2Vs”，即 Visibility――可见性(通过大数据分析使以往隐匿的重要因素和信息可见)和 Value―― 价值(通过大数据分析得到的信息应该被转换成价值)。这“2Vs”代表了煤炭工业界对于大数据所追求的目的和意义。（1）大容量(Volume)体现在数据采样率高(毫秒级)与采样时间段长(24h 不间断运行)所带来的大容量历史数据。以单台矿井通风机为例，其数据采样频率为 50Hz，每秒产生 225kB 数据，按每 年 7000h 工作时间计算，仅单台通风机每年生成 6TB 数据。（2）快速性(Velocity)体现在高频的数据采集。由于井下作业环境恶劣、24h 不间断生产，生产环境安全监测监控系统、各生产环节的自动化系统等的实时数据与信息需要安全、准确、实时地传至数据处理中心，所以每秒钟会记录几千兆甚至上万兆字节的数据。（3）多样性(Variety)体现在异构性、不同时间尺度和不均匀采样。煤炭工业数据异构性是指非结构化类型煤炭数据，其数据存储形式除“采掘机运通排”控制系统采集的结构化的生产过程数据外，还包括以生产环境在线监测为主的视频图像、语音，以及规章制度、应急案例文本等非结构化数据。此外，煤炭工业分层次运行，采集的时间序列数据既有高维且快速率动态采样的压力、流量等过程数据，又有低速不均匀采样的灰分、硫分等指标数据。（4）真实性(Veracity)体现在真实数据与离群点数据的混杂。由于煤炭掘进、开采和洗选过程生产环境恶劣，测量仪表或变送器受到干扰严重，且故障频发，使得测量数据中混杂不真实数据，具有离群点、缺失点等异常样本。如重介质选煤过程中由于在 线灰分仪运行不稳定经常导致灰分实际测量值出现大偏差，导致历史数据中出现离群点。（5）可见性 (Visibility)体现在对隐匿性问题的建模和预测。设备性能下降、健康衰退、零部件磨损等问题难以通过测量被量化，而大部分可见的问题都是这些不可见的因素积累到一定程度所造成的，因此需要通过大数据分析使以往隐匿的重要因素和信息可见，从而避免可见问题的发生。（6）价值(Value)体现在数据密度高、价值小。煤炭生产中，系统经常在某一特定且正常工况下运行，而故障等异常工况只是偶然发生 ，因此大量数据均是存在冗余的正常运行数据，而反映异常的数据非常少。 煤炭大数据研究现状 从 20 世纪 90 年代至今，煤矿自动化经历了从单机自动化、综合自动化到煤矿物联网的发展[7] ，且随着煤炭企业信息化与自动化的不断提高及两化融合的快速发展，安全监控、人员定位、可视通信 、数字化矿山、三维建模、企业资源计划等系统的不断应用，产生了海量、不同层次、不同类别的数据资源，为大数据在煤炭工业中的应用奠定了基础[8]。由于缺少针对煤炭大数据特征的分析工具及高效的计算平台来提取隐匿的知识，煤炭大数据还未充分利