基于Hadoop备件储备定额并行化研究.docVIP

基于Hadoop备件储备定额并行化研究 　　摘 要： 分析了煤矿企业备件储备定额的构成以及计算过程中存在的不足，针对原来基于串行处理技术的备件消耗量预测方法执行效率低，传统的并行计算模式关于节点失效和负载均衡问题没有好的解决方案，提出了基于Hadoop平台实现备件消耗量预测的设计方法，对概率统计分析方法进行改进，并给出其在Hadoop平台的MapReduce编程模型上的执行流程。在Hadoop平台上对改进的备件预测方法进行测试，并与传统的方法进行对比，结果证明，改进后的方法时间耗费小，可扩展性高。 　　关键词： Hadoop； 备件； 概率统计分析法； MapReduce 　　中图分类号：TP393 文献标志码：A 文章编号：1006-8228（2014）05-10-04 　　Abstract： The composition of reserving quota in the coal mining enterprises and the deficiency existing in the calculation of minimum storage process are analyzed. The original spare parts consumption prediction method based on serial processing execution efficiency is low. The traditional parallel computing mode cannot handle node failure and it is also difficult to deal with issues such as load balancing. The spare parts consumption forecast based on the Hadoop platform is proposed， probability and statistics analysis method has been improved. The implementation process of the improved algorithm based on the MapReduce programming model is given. The improved spare part prediction method is tested on Hadoop platform and compared with the traditional method. The experimental results show that the improved method is less time consuming， and higher extensibility. 　　Key words： Hadoop； the spare parts； probability and statistics analysis； MapReduce 　　0 引言 　　某煤矿集团公司成功引进了SAP公司的ERP（Enterprise Resource Planning）系统，ERP系统的使用给企业带来了先进的管理理念，建成了完整的企业资原管理体系和高效、便捷的信息技术平台。但是，其ERP系统里分析和计算备件储备定额的功能侧重于机械制造等备件消耗规律性较强的行业，对于煤矿企业这类备件消耗随需求变化的行业起不到应有的作用，所以我们为此开发了备件储备定额系统来对备件信息进行管理，协助业务人员制定备件采购计划，自动提示所需订货的备件等。 　　但是，随着系统的使用，一些问题也紧跟着暴露出来。如储备定额系统对于日常少量备件做消耗量预测可以在较短的时间内很好地完成，但在年中需要为下半年作订购计划或为来年制定订购计划的时候，因为其备件库庞大（现常用备件有29万多种，历史出入库存记录数据更多），做消耗量预测时花费时间很长；而随着Hadoop云计算平台在各个领域的运用很好地证明了其对海量数据的存储能力和并行计算能力，为大量备件的消耗量预测提供了一种新的解决方式。将Hadoop平台技术与煤矿企业备件储备定额并行化研究结合起来是一种很新颖的想法，目前还处于探索阶段，也是本文主要研究的内容，我们将研究如何解决煤矿企业备件管理所面临的难题。 　　1 基于Hadoop的备件消耗预测系统框架 　　利用云计算平台实现备件消耗预测，可解决大数据集运算和存储，并能够保证系统的可扩展性。国际与国内已经有一些学者在云计算平台的利用上进行了相关的研究和应用，如利用开源云计算平台Hadoop进行海量数据分析研究[6]，在电力行业进行的海量数据存