基于大规模用户隐式行为反馈的书籍推荐方法研究-软件工程专业论文.docxVIP

万方数据 万方数据 Dissertation Submitted to Zhejiang University of Technology for the Degree of Master Research on Book Recommendation Method based on Implicit Feedback of User Behavior in Large-scale Candidate: Gong Jiaorong Advisor: Fan Jing , Cao Bin College of Computer Science and Technology Zhejiang University of Technology May 2015 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工 作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个 人或集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育 机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均 已在文中以明确方式标明。本人承担本声明的法律责任。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1．保密□，在_ _年解密后适用本授权书。 2．不保密□。 （请在以上相应方框内打“√”） 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 浙江工 浙江工业大学硕士学位论文 基于大规模用户隐式行为反馈的书籍推荐方法研究 摘 要 基于协同过滤算法的书籍推荐系统能够向用户提供个性化的书籍推荐，方便人们的 阅读行为并提高人们的阅读效率。但当前大多数书籍推荐应用中普遍存在缺少用户对书 籍的评分数据甚至没有评分数据的情况，即使在有用户评分的情况下，也存在用户评分 数据不准确、评分稀疏等问题，这使得传统协同过滤推荐算法的应用受到阻碍。 针对上述问题，本文展开了基于大规模用户隐式阅读行为数据的书籍推荐方法研 究。基于真实的海量用户阅读日志数据，本文首先利用 Hadoop 分布式平台对大规模用 户阅读行为进行预处理，并对相关用户隐式阅读行为数据进行分析，利用数据预处理得 到的数据集对用户阅读行为数据进一步的统计与计算，为建模做好准备；然后，本文提 出了一种基于用户隐式行为的书籍推荐方法，在一定程度上解决了书籍推荐系统中用户 评分缺失的问题，并通过实验证明，所提方法与传统的经典协同过滤方法相比，提高了 推荐准确率。 本文的主要工作和成果总结如下： （1）为了提高对大规模数据处理的效率，本文采用基于 Hadoop 分布式平台的 MapReduce 数据处理模型，先将海量数据进行过滤、清洗等数据预处理工作，得到有效 的用户隐式行为数据，再对已清洗过的用户行为数据进行进一步的统计和计算。利用大 规模数据处理方法提高了本文工作的效率，并在一定程度上提高了用户阅读行为数据的 准确度。 （2）为了解决书籍推荐系统中评分数据不准确、评分稀疏等问题，提高书籍推荐 的准确率，本文提出了一种基于用户隐式阅读行为数据的评分模型：时间-频次模型（T-F Model）。将具有价值的用户隐式行为数据转化为用户评分数据，填充用户-书籍评分矩 阵，实现准确的面向书籍的协同过滤推荐。 （3）为了验证基于大规模用户隐式行为反馈的书籍推荐方法有效性，本文将处理 好的数据集分为训练集与测试集，利用训练集预测用户对书籍的评分，并根据评分高低 产生书籍推荐，从时间和频次分别取不同的权值、分别利用基于用户和基于项目的协同 过滤算法产生推荐等几个方面，与传统基于简单评分矩阵的协同过滤推荐方法进行比 I 较，证明了本文所提方法的准确性与可行性。 关键词：协同过滤，书籍推荐，用户评分矩阵，用户隐式行为 II RESEARCH ON BOOK RECOMMENDATION METHOD BASED ON IMPLICIT FEEDBACK OF USER BEHAVIOR IN LARGE-SCALE ABSTRACT The recommendation system based on collaborative filtering (CF) algorithm makes it possible to recommend user personalized books, which eases reading and e