基于云计算的煤矿应急管理数字化数据存储及处理性能研究.docxVIP

基于云计算的煤矿应急管理数字化数据存储及处理性能研究 0 煤矿应急管理y生物云平台 随着物联网技术在煤矿安全生产系统中的广泛应用，从大量信息中采集的数据体积是巨大的，这些数据需要集中在一些存储和处理设施上。云计算对这些任务具有非常显著的成本效益。基于SOA的煤矿应急云(CECloud, Coal mine E-mergency Cloud) 是未来煤矿应急管理信息化的基本平台与环境, 是一个面向煤炭行业安全事故应急救援领域的行业云, 是未来煤矿应急管理信息平台在云计算环境下迁移后的子云, 整合形成了煤炭行业高性能的计算和存储能力, 为煤矿海量数据应用的挖掘和分析提供专业稳定的IT基础设施平台。 在煤矿应急云平台中, 随着物联网、无线传感器网络等技术在煤矿安全生产信息化建设中的广泛应用, 煤矿大量实时监测、控制及自动化等实时系统产生的流式数据会形成相当规模的数据集, 以及各类半结构化及非结构化的煤矿井下监控视频、3D矿图等大数据量文件, 对煤矿企业现有信息系统构架在海量数据存储及处理问题上提出了更大的挑战。因此, 文中将分析煤矿应急云平台中海量数据的来源及特点, 并设计基于No SQL的存储方式, 通过实验验证煤矿应急云平台具有更高的海量数据存储及处理性能。 1 信息的采集处理 针对煤矿应急管理海量数据的多源异构性可知, 煤矿企业海量数据具有明显的层次性特点。不同层面的数据都有独特的存储格式以及相应的信息处理方案。在该平台中, 煤矿应管理的海量数据有以下5个来源: (1) 一次数据源。主要指煤矿各类传感器采集的实时数据, 包括直接从传输系统采集的协议包数据、解调后从主机内存中取得的数或从储存介质中取得的“即时数据”; (2) 二次数据源。指存储在云平台中的各类传感器上传的历史数据, 以及经过联机事务加工处理后产生的新数据, 如海量数据挖掘、智能分析与预警、风险评估、安全等级判定等新业务, 更好地为煤矿用户服务; (3) 煤矿事故现场数据。在煤矿事故应急处置过程中, 事故现场的数据对掌握事故最新动态从而正确决策具有关键性的作用, 因此在现场事件处置人员实时采集现场图片、声音、视频等数据, 这些数据以非结构化、多模态的组织形式为主, 并且具有相应的采集标准; (4) 与煤矿事故应急救援相关的互联网数据源; (5) 用户信息。服务平台有多租户的特点, 所有煤矿应急云服务使用者都能在这一平台上组织所需资源来定制服务, 他们通过身份认证登录到云平台中“按需使用, 按需付费”。 2 煤矿安全生产监测数据的特点 随着现代数字化煤矿发展产生了越来越多的数据, 迫使数据管理方式发生了变化, 需要从传统的数据库技术转移到大数据管理技术。煤矿应急管理海量数据有以下特点 1) 数据规模大。煤矿企业生产过程中的数据是很重要的动态数据, 是以监测点为基础采集、存贮的数据, 包括了以瓦斯为主的环境监测数据 (一氧化碳、二氧化碳、风速、风压、顶板离层移动距离) 、设备信息 (温度、电流、电压、开停、工作压力、润滑压力、移动设备位置信息) 、井下人员信息 (位置、移动方向等) 及空间信息等测量数据; 2) 数据的种类繁多。煤矿安全生产监测数据类型可分为原始瞬时值、平均值、累计值和平衡后的瞬时值、平均值、累计值等结构化数据, 同时还存在着矿图数据、GIS数据、监控视频及图像数据、应急知识、应急预案、事故案例等半结构化和非结构化数据, 并且此类数据所占份额越来越大; 3) 系统处理对象不仅仅是数据, 还包括推理信息, 用来辅助解决其他领域的问题; 4) 从以计算为中心转变到以数据处理为中心, 数据不仅仅是访问的对象, 而应当转变成一种基础资源, 使其产生更多的附加价值。因此, 在云计算和物联网时代, 面对煤矿应急管理海量数据的存储和处理问题, 非关系型数据库———No SQL应运而生。 3 多源异构刑罚执行的数据存储 No SQL是一个云计算背景下蓬勃发展的分布式、非关系型数据库系统, 是一个和传统的关系型数据库 (Relational Data Base Management, RDBM) 有很大不同的另一类数据结构化存储管理系统。No SQL是指那些非关系型的、分布式的、不保证遵循ACID (原子性Atomicity、一致性Consistency、独立性Isolation、持久性Durability) 原则的数据存储系统, 支持半结构化、结构化数据的高并发读写, 存储键值、列族、文档、图等多种数据类型, HBase、Hyper Table属于这种类型。 用户在表格存储着一系列的数据行, 每行包含一个可排序的行键 (Row Key) 、列族 (Column family) 以及时间戳 (Timestamp) 。行键可以视为表的主键, 所有记录按照它排序;时间戳是