基于Hadoop平台协同过滤推荐算法①课件.pdf

计 算 机 系 统 应 用 2013 年 第22 卷 第 7 期 ① 基于Hadoop 平台协同过滤推荐算法 杨志文, 刘 波 (华南师范大学 计算机学院, 广州 510631) 摘 要: 针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究 Hadoop 分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop 平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop 平台上通过MapReduce 结合Hbase 数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模 下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎. 关键词: Hadoop; MapReduce; Hbase; 协同过滤推荐算法 Hadoop-Based Collaborative Filtering Recommendation Algorithm YANG Zhi-Wen, LIU Bo (School of Computer Science, South China Normal University, Guangzhou 510631, China) Abstract: In order to solve data sparsity and scalability of the Collaborative Filtering (CF) recommendation algorithm when the volume of the dataset is very large. After deeply analyzing the Hadoop distributed computing platform and the characteristic of Collaborative Filtering recommendation algorithm, the paper propose a optimization scheme on Hadoop platform. The experimental results show that it can effectively improve the execution efficiency of Collaborative Filtering recommendation algorithm in large data size, when it is realized by MapReduce with Hbase database on the Hadoop platform.And then, it contribute to build one recommendation system which is low cost, high-performance and dynamic scalability. Key words: Hadoop; MapReduce; Hbase; collaborative filtering recommendation algorithm 随着互联网的迅速发展, 人们如何在繁多的信息 于采用各种方法对基本的协同过滤算法本身进行改进. 获取自己需要的内容成为了一个越来越重要的问题. 如文献[3]利用神经网络预测用户未评分项的评分从而 至20 世纪 90 年代提出推荐系统概念以来, 对于推荐 降低数据的稀疏性, 文献[4]提出基于项目间相似性提 系统的研究得到了