基于云存储井下人员定位数据处理.docVIP

基于云存储井下人员定位数据处理 　　摘要：鉴于国内目前各大煤矿企业的实际情况，对井下人员定位系统进行研究，为了改进定位产生的海量数据所存在的不安全、不完整等弊端，采用云存储代替原有的存储模式。利用云存储量身定制这一特性，在企业内部搭建私有云，以Hadoop为技术架构，运用HBase的RowKey确定检索的主键，HDFS的NameNode与DataNode完成数据间的交互，快速、高效的查找数据。将云存储应用于企业中，帮助企业顺应时代的脚步，有利于企业的发展，具有一定的价值。 　　关键词：定位系统；云存储；海量数据；HDFS；HBase 　　中图分类号： TP391 文献标识码：A 文章编号：1009-3044（2014）04-0844-03 　　1 概述 　　中国作为煤矿大国，各大煤矿通过人员定位系统，实时监控井下作业人员，确保其人身安全。通过实时定位，收集各类数据，确定实时路径。煤矿企业在处理人员定位系统产生的海量数据方面存在众多问题：原有系统扩展性差，难以满足企业数据的快速增长；数据的处理以及复杂操作能力的需求不断提高；对数据的访问以及响应时间逐渐变慢等。传统的数据存储模式不能完美的解决这些问题，而云存储作为一种新型的数据存储方式，克服了传统存储方式产生的诸多弊端。 　　以淮北朱仙庄矿为背景，结合目前煤矿企业的实际情况，针对定位系统产生的海量数据，在企业内部建立私有云，整合现有的多样数据，建立Hadoop技术架构，以达到高速、安全的存储数据。 　　2 云存储下定位数据的处理 　　2.1 云存储 　　2.1.1 云存储的定义 　　云存储[1]作为云计算的延伸技术，主要指通过分布式文件系统、集群应用等，将同一网络中许多且不同类型的设备整合起来，实现对外提供数据存储和业务访问的功能[2]。其中，云存储并非实际意义上的存储，提供的是服务功能。 　　云存储是一种特殊的共享存储器，首先要保证用户存放的数据可靠、不丢失。其次，用户访问数据是任意时间的，云存储必须确保实时在线，方便用户的读取。鉴于成本和资金流量的考虑，云存储的规模必须随着数据的不断增加而扩展。 　　2.1.2 云存储的结构 　　云存储的核心是应用软件和存储设备相结合???通过应用软件来实现存储设备向存储服务的转变。图1为云存储的结构[3]。 　　由以上的结构图，我们不难看出云存储所具有的几个优势[4][5]： 　　1）成本低 　　目前，大多企业将大部分数据迁移至云存储上，因此升级、维护等管理任务均由云存储服务提供商来完成。不仅可以将数据存储与管理的成本降到最低，还能获得最优良的数据存储服务。 　　2）管理便捷 　　企业的数据管理从传统的分散管理转变为云存储的统一管理。其中维护功能由供应商来完成，企业不需要配备专业的存储系统管理员；其次较易扩展，不会因为新数据的产生而丢弃旧数据，保证数据间的完整性。 　　3）量身定做 　　随着大数据时代的到来，各企业产生的海量数据不尽相同，利用私有云这一特性为企业量身定做一套云存储服务解决方案。 　　2.2 Hadoop 　　2.2.1 Hadoop简介 　　Hadoop[6-7]是Doug Cutting创建的一个软件框架，能够对海量数据进行分布式处理，主要依附于社区服务器，因此成本较低，任何人都可以使用。Hadoop是一种可以让用户轻松建立和应用的分布式计算平台，方便对海量数据分析、处理。 　　主要有以下几个优点[8-9]： 　　1）高可靠性 　　使用按位存储和处理数据，值得用户的依赖。 　　2）高扩展性 　　通过计算机的集簇体现其高扩展性，将数据方便、快捷的扩展到数以千计的节点上。 　　3）高容错性 　　自身能够进行数据的备份，并且能够自动将失败的任务重新分配。 　　2.2.2 HDFS介绍 　　HDFS[10-11]（Hadoop Distributed File System）：分布式文件系统，简称HDFS；具有高容错性，主要放置在低廉的硬件上。 　　HDFS类似于一个分级文件系统[12]，可以创建、删除、移动或重命名文件等。基于其自身的特点，HDFS的架构是由一组特定的节点构建的，这些节点主要包括NameNode（仅一个）存储的主要是文件名；DataNode为 HDFS 提供存储块。 　　NameNode主要起索引的作用，决定是否将文件映射到 DataNode 上，负责管理文件名和控制外部客户机的访问；DataNode则响应来自 NameNode 的创建、删除和复制块的命令。NameNode 依赖于单个 DataNode 的定期心跳消息，其中每条消息都包含一个块报告，可以根据这个块报告验证和映射元数据。 　　2.2.3 HBase介绍 　　HBase[13-