MaPReduce大数据分析在煤矿的应用研究.docxVIP

MaPReduce大数据剖析在煤矿的应用研究 纲要：MapReduce作为数据办理的观点框架对计算、存储、应用平散布式资源进行大规模可扩展的整合，联合互联网技术为煤矿公司用户提供计算和存储服务并成立安全生产大数据剖析系统，这必将成为提升煤矿安全生产的信息 手段之一。文中实例是鉴于HadoopMapReduce大数据系统对矿井瓦斯涌出量进行了预测仿真剖析，能为矿井瓦斯治理和安全生产提供了可靠的依据。 重点词：Hadoop；MapReduce；云计算；煤矿；瓦斯涌 出量 中图分类号：TP311文件表记码：ADOI： 本文著录格式：刘玉海.MapReduce大数据剖析在煤矿的 应用研究[J].软件，2016，37（5）：101-104 0.引言 MapReduce作为一个通用且可扩展的并且封装了并行 办理、容错和数据本地化等技术难点及细节为一体的模块， 能有效的剖析办理大数据。让使用者易于实现并行和散布式 系统的开发和应用。MapReduce编程模型结适用户的自定义 Map和Reduce函数，与大数据存储系统HDFS的联合组成了 Hadoop的核心框架，在由大量计算机组成的集群中实现了 对大数据的大规模并行化散布式高速运算和存储。煤矿公司 生产安全事关重要，将煤矿有关的大数据整合在一同使用分 布式高速运算和存储共同工作，为实现煤矿危险预测能起到 至关重要的作用，也是煤矿的合理化生产的举措之一。 1.Hadoop的Map和Reduce Hadoop散布式开源软件是一个在大型集群硬件设施上 运行应用程序的软件框架，拥有可靠、高效、可伸缩的数据 办理特点，其基来源理就是把大的数据会合散发到Hadoop 集群上的每一个数据结点上，每个数据结点会周期性的返回 自己达成的工作状态报告，MapReduce高度优化了用多台计 算机解决散布式问题，增加了数据的可靠性。 MapReduce技术框架包含三个层面的内容：①散布式文 件系统②并行编程模型③并行履行引擎。这个办理大数据集 的观点框架是由Map和Reduce两个函数组成的，Map函数 专用于获取大数据输入并将其分红小片段，以一种独立的方 式使这些片段获得并行办理，亦即传达到一组映射函数Map， 然后交由其他进度进行操作。Reduce函数整理收集了各个 Map回应并显示其输出结果，也就是将Map作为一组输入 数据产生键值的会合交给一组复原函数Reduce履行映射表 的会归并显示最终的输出。同一程序Hadoop可运行各样语 言编写的MapReduce程序。