基于Hadoop的协同过滤推荐系统研究与实现.doc

基于Hadoop的协同过滤推荐系统研究与实现 第 PAGE \* Arabic \* MERGEFORMAT 17 页第 PAGE \* Arabic \* MERGEFORMAT 17 页第 PAGE \* Arabic \* MERGEFORMAT 17 页 密级：　　保密期限： 硕士研究生学位论文 题目：基于Hadoop的协同过滤推荐系统研究与实现 学　　号：　　2011110776 姓　　名：　　 郑　健 　 专　　业： 计算机科学与技术 导　　师：　　徐六通　　　 学　　院：　 计算机学院 　 2013年12月24日 独创性（或创新性）声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：　　　　　　　　　日期：　　　　　　　　　　　 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。（保密的学位论文在解密后遵守此规定） 保密论文注释：本学位论文属于保密在 年解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：　　　　　　　　　日期：　　　　　　　　　　　 导师签名：　　　　　　　　　日期：　　　　　　　　　　　 PAGE \* ROMAN \* MERGEFORMAT II 基于Hadoop的协同过滤推荐系统研究与实现 摘　要 近几年，随着中国互联网的崛起，网络应用越来越多样化，大量的产品和信息同时呈现在用户面前，导致了信息过载现象的出现，个性化推荐是解决该问题的重要方法。协同过滤推荐方法是当前在实际系统中应用最多的个性化推荐方法，它基于群体的偏好来为用户提供推荐。当前对协同过滤方法的研究大多侧重于单机算法的设计与优化，旨在提高推荐的精准度。但是面对日益增多的用户、急剧增加的数据量，通常的算法都会遇到严重的计算扩展瓶颈，这使得协同推荐方法难以在实时性和可用性要求高的大型线上系统中使用。因此，应考虑使用并行方法改进协同推荐算法应对大规模数据的能力。 本文对基于Hadoop并行计算框架的协同过滤推荐系统的设计与实现进行了研究。首先对协同推荐系统和Hadoop平台的相关概念行了介绍，包括推荐系统的构成，常见的协同推荐算法，以及Hadoop存储和计算并行化的原理；其次介绍了推荐数据预处理流程的并行设计，阐述了基于用户、基于物品和基于主成因分析的协同方法的并行实现方案；再次，详细介绍了推荐结果评估方法的并行方案，并对并行协同推荐算法的性能和推荐质量进行了验证；最后，结合提出的基于Hadoop的协同过滤推荐算法，设计并实现了一种在线电影协同推荐系统，用以模拟并行协同推荐方法在实际场景中的应用方法，并从云平台优化角度进一步提升协同过滤推荐系统的性能。 实验表明，将Hadoop技术应用于协同推荐推荐系统的实现，提升了协同推荐方法应对大规模数据的能力；在推荐系统云平台层的参数优化，更进一步提升了推荐系统的离线处理性能。 关键词：Hadoop　协同过滤　并行化　推荐系统 THE RESEARCH AND IMPLEMENTATION OF COLLABORATIVE FILTERING RECOMMENDATION SYSTEM BASED ON HADOOP ABSTRACT In recent years, with the rise of Internet industry in China, more and more network applications appeared, a large number of products and information presented to the user, resulting in the emergence of the phenomenon of information overload, and personalized recommendation is an important method to solve the probl