基于海量高维煤炭数据的分布式贝叶斯算法的研究与应用.pdfVIP

第 32 卷第 9 期 煤 炭 技 术 Vol.32,No.09 2013 年9 期 Coal Technology September,2013 基于海量高维煤炭数据的分布式贝叶斯算法的研究与应用 刘小强 1,2 （1.三门峡职业技术学院 信息工程系， 河南 三门峡 472000; 2. 武汉大学 测绘遥感信息工程国家重点实验室， 武汉 430079） 摘 要:随着信息技术的快速发展，在煤炭产业中也挖掘出了大量的煤炭数据。煤炭产业管理者希望能够应用现有 的煤炭数据进行分析预测，但是海量煤炭数据的处理分析是一地大难点 。文章针对煤炭数据的分类问题 ，提出了基 于 MapReduce 分布式计算框架 的贝叶斯分类算法，该算法分布式地完成分类问题 ，能够更加快速、有效地处理大 规模 的数据。通过文中的实验结果也进一步说明文中提出的分布式贝叶斯分类算法有很高的效率 ，与传统算法相 比有明显的加速比，并且 ，该算法也具有很好的可扩展性。 关键词:MapReduce ； 文本分类 ； 网站； 贝叶斯 ； 分布式 中图分类号:TP301 ；TP18 文献标识码:A 文章编号:1008-8725（2013 ）09-0184-03 Research and Application of Large Scale and High Dimensional Coal Data Based Distributed Bayesian Algorithm LIU Xiao-qiang1,2 （1.Information Engineering Department, Sanmenxia Polytechnic, Sanmenxia 472000, China; 2.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079, China ） Abstract:With the quick development of technology, it produces a huge amount of coal data and each coal industry produces large scale coal data. The managers of coal industry hope that they could make good use of the huge amount of data to do the classification, but it is a hard problem to deal with huge scale data. In this paper, focusing on classification problem, we propose distributed Bayesian logistic regression algorithm based on MapReduce framework, and this algorithm could complete the classification problem in coal industry, and it can deal with big scale data faster and effectively. The experimental results further show that the distributed bayesian logistic regres