基于Spark平台的协同过滤推荐算法的研究与实现-计算机应用技术专业论文.docxVIP

声尸I凋明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学 位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布 过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的 材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明 确的说明。 研究生签名： 醚朝纽 ?of缉弓月2弓日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上 网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权 其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文， 按保密的有关规定和程序处理。 研究生签名： 盗幽白复 2 Dfj年弓月2弓日 万方数据  硕士学位论文 基于Spark平台的协同过滤推荐算法的研究与实现 摘 要 随着互联网和信息技术的迅速发展和广泛应用，各种信息呈现在我们面前。面对日 益增长的数据量，如何从中获取所需的信息已经成为一个非常严峻的问题。推荐系统是 解决这个问题的有效途径之一，它可以通过分析用户的历史行为和偏好信息，建立模型， 进行个性化的推荐。但是，现有的协同过滤推荐算法在推荐过程中暴露出许多问题，尤 其是当用户和物品的数量不断增加时，推荐性能急剧下降。 本文对协同过滤推荐算法进行了分析，并总结了各种算法的优缺点。针对现有算法 的不足，提出了一种基于物品和Slope One的协同过滤推荐算法。该算法的核心是将物 品间的相似度和Slope 0ne算法结合进行评分预测。首先，用S10pe One算法预测部分 用户对物品的评分，填充评分矩阵，这样既可以解决数据稀疏性问题，又可以将预测结 果作为最终结果之一。然后，将原有数据集和预测数据集结合形成新的数据集，计算物 品间的相似度和平均偏好差异值矩阵。接着，用物品间的相似度作为Slope One算法的 权值进行评分预测。最后，通过参数训练将两部分结果按不同比例结合形成最终的预测 评分。为了提升改进算法处理海量数据的能力，本文在Spark平台上实现了Slope One、 相似度算法以及改进的协同过滤推荐算法。同时，本文还在Hadoop平台上实现了改进 的协同过滤推荐算法，方便比较两种分布式平台的运行效率。 在标准的MovieLens数据集上进行了多次实验，实验结果表明，本文提出的基于物 品和S10pe 0ne的协同过滤推荐算法能够提升推荐系统的预测精度。同时，与Hadoop 平台相比，基于Sp狄平台的协同过滤推荐算法更适合处理海量数据。 关键字：协同过滤推荐，相似度算法，slope one算法，spark，Hadoop 万方数据  Abstract 硕士学位论文 Abstract With the r印id deVelOpment and wide application of Intemet tecllllOlOgy，plemy of info眦ation comes forth to us．Facing the increaSing dat如how to obtain required infomlation has become a serious problem．Recommendation system is one of t11e effectiVe、Vays to solve this problembecause it call build a modelto make personalized recommendation t11rou曲the analysis of users’ behaVior and preference． Among many perSonalized recommendation systems，collaboratiVe filtering recommendation is one of the most successful aIld widely used recommendation technology． NeVernleless， mally problems are exposed during recommendation in eXisting collaboratiVe filtering recommendation algorithns，especially when the number of users and it