个性化推荐系统优化及其大数据处理研究-计算机系统结构专业论文.docx

万方数据 万方数据 分类号： 密级： U D C ： 编号： 工学硕士学位论文 个性化推荐系统优化及其大数据处理研究 硕士研究生 ：李星 指 导 教 师 ：刘咏梅 副教授 学 位 级 别 ：工学硕士 学科、专业 ：计算机系统结构 所 在 单 位 ：计算机科学与技术学院 论文提交日期 ：2014 年 1 月 6 日 论文答辩日期 ：2014 年 3 月 14 日 学位授予单位 ：哈尔滨工程大学 万方数据 万方数据 Classified Index: U.D.C: A Dissertation for the Degree of Master The Research of the Personalized Recommendation system Optimizing Big Data Processing Candidate: Li Xing Supervisor: Associate Prof. Liu Yongmei Academic Degree Applied for: Master Speciality: Computer architecture Date of Submission: January 6,2014 Date of Oral Examination: March 14,2014 University: Harbin Engineering University 万方数据 万方数据 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。 有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注 明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者（签字）： 日期： 年 月 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作 的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送 交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进 行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的 全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一 署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文（□在授予学位后即可 □在授予学位 12 个月后 □解密后）由哈尔滨工 程大学送交有关部门进行保存、汇编等。 作者（签字）： 导师（签字）： 日期： 年 月 日 年 月 日 个性化 个性化推荐系统优化及其大数据处理研究 哈尔滨 哈尔滨工程大学硕士学位论文 万方数据 万方数据 万方数据 万方数据 摘 要 信息检索是获取互联网信息的重要方式，在这个阶段，人们能够检索到信息，但却 需要自己去鉴别信息的有用性。个性化推荐系统是在大数据时代，机器通过分析用户的 个人喜好以及在互联网上留下的个人历史?迹而进行的有针对性的信息投送技术。推荐 系统目前在电子商务，音乐服务，电影服务业都有比较成熟的应用。但就现阶段的成熟 性而言，推荐系统在系统架构与算法研究上都还有很多值得深入研究的内容。 冷启动是推荐系统中与生俱来的核心问题之一，由于用户或物品的新加入从而导致 推荐系统无法学习用户或物品的个性化特征，也因此导致推荐系统无法针对此用户或物 品提供恰当的推荐建议，传统上基于人口学冷启动推荐又往往在整体可扩展性，计算效 率上存在比较大的问题，且存在长尾效应。如何解决这些问题，本课题提出了基于聚类 与信息检索的方式，给出了这些问题的优化方案。 大数据处理是应对海量数据的基础架构，本课题中我们讨论并给出了通用的针对基 于内容推荐，基于协同推荐的通用设计方案，以及课题提出的冷启动方案的大数据处理 设计方案。 SlopeOne 是协同过滤算法中一种十分简单且高效的推荐算法，算法需要依赖大量的 用户的评分，且如果要得到推荐结果，算法还需要大量的对待预测项目的评分，也就是 算法本身也存在冷启动问题，对于第一点，算法需要依赖大量评分信息，本课题设计了 基于大数据处理平台 Hadoop 的 SlopeOne 算法实现与优化方案，方案对 SlopeOne 的增 量计算特性进行了分解设计，并且对于可能出现的内存溢出问题进行了相应的设计。对 于第二点，冷启动问题，我们充分利用了我们课题中的第一部分内容，我们把 SlopeOne 的数据集分为两类：训练数据集与测试数据集，训练数据集是已经存在的真实历史记录， 而测试数据集是通过冷启动生成的具有适当评分的数据集，首先我们是想解决