基于Hadoop的用户个性化推荐研究-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉 理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 了谢意。 签 名： 日 期： 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学 校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人承诺所提交的学位论文（含电子学位论文）为 答辩后经修改的最终定稿学位论文，并授权武汉理工大学可以将本学位 论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他 复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家 有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 （保密的论文在解密后应遵守此规定） 研究生（签名）： 导师（签名）： 日期： 摘要 个性化推荐系统是针对每个用户的不同需求，提供满足他们偏好和兴趣的信息， 在应用初期取到了不错的效果，但随着大数据时代的来临，带来了信息超载问题， 传统的个性化推荐系统也面临着诸多挑战，如推荐时间过长、精准度不高和扩展比 较困难等问题。 除了单纯的寻找更加高效的推荐算法，推荐系统服务器性能提升也是要考虑的 问题。为了应对海量数据处理提供高效的服务，已经提出了若干基于分布式的系统 解决方案。而 Hadoop 正是这样一个高效的、可拓展的分布式计算平台，因此可以 将推荐系统应用于 Hadoop 中，以应对大数据提供高质量的推荐服务。本文的主要 研究工作如下： 1、本文对个性化推荐系统的结构、主流推荐算法和常用评价指标进行分析，结 合目前面临的挑战引出了基于 Hadoop 构建个性化推荐系统的意义。然后对 Hadoop 的关键技术进行了研究。 2、具体研究了基于用户的和基于项目两种协同过滤算法，然后分析了传统协同 过滤算法存在的问题，提出基于矩阵填充和时间上下文的推荐算法。针对数据稀疏 性问题，提出采用矩阵填充的手段进行缓解；考虑到用户兴趣随着时间推移而慢慢 发生变化，引入时间上下文因素，进行预测评分时，加入时间函数权重，突出用户 最近行为对用户兴趣变化的影响。最后结合 Hadoop 平台特点，通过 MapReduce 编 程模型对该算法实现并行化。 3、对本文提出的改进算法进行实验，测试三种相似度计算方法的优劣，然后比 较在不同邻居数和数据稀疏性条件下三种算法的性能差异。 4、针对于提出的算法设计并实现了基于 Hadoop 的个性化电影推荐原型系统。 详细的描述了每个功能模块的作用，最后介绍了该原型系统的推荐流程。 本文提出的基于矩阵填充和时间上下文的推荐算法可以提高推荐质量，在一定 程度上缓解数据稀疏性问题，并行化的算法在 Hadoop 集群中运行时，面对大规模 数据集也表现出良好的性能。 关键词：推荐系统，Hadoop，协同过滤，矩阵填充，时间上下文 I 万方数据 万方数据 Abstract The personalized recommendation system can provide the goods to meet the preference and interest of each user.The system get significant effect at the beginning,but the problem of information overload has appeared with the coming of the big data.The traditional personalized recommendation system faces many challenges,such as the recommended time is too long,the accuracy is not good and bad scalability issues. Except to explore more efficient recommendation algorithm,it is also another important issue to consider that the improvement of the performance of the server.In order to deal with huge amounts of data,some people have put forward several solution based o