基于Mapreduce协同理论的煤炭营销数据分析技术的研究与实现.pdfVIP

第 32 卷第 11 期 煤 炭 技 术 Vol.32,No.11 2013 年11 期 Coal Technology November,2013 基于 Mapreduce 协同理论的 煤炭营销数据分析技术的研究与实现 张 旭 （江苏经贸职业技术学院 ， 南京 211168） 摘 要:随着互联网电子商务的高速发展 ，推荐系统在电子商务领域得到了广泛 的应用。煤炭产业也开始引进了电 子销售系统。在煤炭系统中，推荐系统利用消费者对消费商品的排名打分，分析相似性并进一步预测消费者可能感 兴趣 的商品 。协 同过滤算法被普遍应用在推荐系统中。但是，煤炭销售数据规模逐渐增大，传统的协 同过滤算法不 能有效地处理海量规模煤炭数据，推荐效率很低 。本文针对大规模煤炭销售数据，提出了基于 Mapreduce 的分布式 协 同过滤算法 ，该算法有效地完成推荐系统的预测及推荐工作。通过大量的实验结果也进一步表明本文提出的算 法与传统算法相比，具有很高的效率，并且扩展性 良好。 关键词:云平台； 协同过滤； 分布式 ； Mapreduce ； 推荐系统 ； 煤炭系统 中图分类号:TP311.13 文献标识码:A 文章编号:1008-8725（2013 ）11-0317-03 Research and Application of Cloud Platform Based on Distributed Collaborative Filtering Algorithm in Coal Sale System ZHANG Xu Jiangsu Institute of EconomicTrade Technology, Nanjing 211168, China （ ） Abstract:With the highly development of internet E-commerce ，recommendation system is widely used in E -commerce a rea．Coal industry begins to induce the recommender system．In coal system． Recommendation system uses the rating from the users for items to analyze the similarity and predict the items which one user may be interested with．Collaborative filtering technique is popular in recommendation system．However，the scale of coal data is increasing ， the traditional collaborative algorithm could not deal with the huge scale data effectively ， the efficiency of recommendation is very low．In this paper，focusing on the big scale coal sale data ，we propose distributed collaborative filtering algorithm based Mapreduce ， this algorithm