智能煤矿数据中台架构及关键技术研究.docxVIP

智能煤矿数据中台架构及关键技术研究 摘要：数据中台是智能煤矿建设的数据底座，是煤矿大数据应用的基础。提出了包含数据汇聚、数据开发、数据存储、数据资产管理、数据服务等的智能煤矿数据中台建设思路；设计了智能煤矿数据中台架构，分析了数据中台的数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务、运维保障等功能模块；探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案。应用表明，智能煤矿数据中台实现了数据汇聚、数据开发，以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练、数据服务等，使得煤矿多源异构数据从数据资源变为数据资产，可提供基于大数据的调度决策、灾害风险分析、设备健康诊断、预防性维护等应用，解决了煤矿信息孤岛严重、数据难集成、智能化分析水平低等问题。 0 引言目前，我国煤矿智能化发展处于初级阶段数据中台是智能煤矿建设的数据底座，是煤矿大数据应用的基础。本文提出智能煤矿数据中台架构，实现了数据汇聚、数据开发，以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练和数据服务等，解决了信息孤岛、海量数据实时计算能力差、数据失真、查询速度慢、共享难等问题，将数据资源转变为数据资产，支撑业务应用的快速构建。1 智能煤矿数据中台建设思路智能煤矿数据中台建设涉及各类数据接入、管理规范的制定，汇聚数据资源量、硬件计算资源量、存储资源需求量估算，根据数据资源量和数据采集频率及实时性要求等进行大数据基础支撑组件的选型等，包括数据汇聚、数据开发、数据存储、数据资产管理和数据服务等步骤。经数据汇聚采集的数据没有经过处理，基本是按照数据的原始状态堆砌在一起的，业务难以使用，需要通过数据开发存入数据资源池。数据开发主要面向开发和分析人员，提供离线或实时的算法开发工具，以及任务管理、监控等一系列集成工具。数据存储是数据中台的核心，要充分考虑数据的一致性和复用性，按照原始库、资源库、主题库等存储方式进行数据资源池建设，并形成数据资产和相关模型。数据服务使数据资产和相关模型服务于煤矿风险监测预警、设备健康诊断等，通过运维体系保障数据中台长期健康、持续运转。2 智能煤矿数据中台架构智能煤矿数据中台的主要功能是沉淀数据资产和构建分析模型，通过数据汇聚、数据治理、One ID、One Model、One Service来实现整体的数据加工、沉淀及服务，提供指标数据、标签数据、算法服务。智能煤矿数据中台主要包括数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务和运维保障等功能模块，通过统一的平台打通数据源层各系统之间的数据流，汇聚数据至统一的数据资源池进行存储、治理、分析，并通过数据服务为应用层提供数据，如图1所示。(1）数据标准规范。包括数据接入规范和相关数据治理规范。数据接入规范是智能煤矿数据中台数据汇聚及质量管理的依据，包括煤矿安全监控、人员定位、工业视频监控、冲击地压监测、水害防治和矿用重大设备运维等感知数据接入规范，以及双重预防、地质测量等管理数据接入规范。数据治理规范包括主数据规范、元数据规范、数据目录规范、数据服务规范等，依据相关国家标准和行业标准制定。(2）大数据基础支撑。主要包括数据汇聚时所需的Kafka消息队列（用于缓存实时数据），Hadoop的Yarn,ZooKeeper资源调度管理组件，Flink实时流式计算处理组件，以及数据资源池建设中所需的MySQL,Redis,ES等数据存储组件。(3）数据汇聚。主要实现结构化、半结构化、非结构化数据采集，包括数据源适配、数据预处理、数据转换、数据传输、数据缓存、运行监控、安全认证等功能。数据源适配支持Kafka消息队列、FTP文件、API(Application Programming Interface，应用程序接口）和前置交换库等。Kafka消息队列适用于时效性要求高的流式数据采集，如安全监控、人员定位、矿压和冲击地压、水文地质等数据。FTP文件适用于数据量大、时效性要求不高的数据采集。API和前置交换库适用于交换频率较低的管理数据采集。数据预处理依据数据接入规范，通过开关方式开启数据项内容的格式检查。数据转换是针对不同系统的数据源，按照数据接入规范转换为标准统一格式。标准转换程序内置在数据汇聚模块中。数据传输方式因数据不同而不同。针对流式数据，将其写入Kafka消息队列中；针对离线数据，以文件形式或交换库方式进行数据传输。数据采集过程具备数据缓存功能，满足数据断点续传需要。采集数据被保存到文件和数据库，作为缓存数据。若数据传