基于数据流挖掘的推荐系统研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 随着互联网技术的发展，越来越多的人会选择在网上进行购物、查看新闻、看电影等等， 但是名目繁多的选项会让人不知如何选择，由此出现了所谓的“信息过载”现象。所以，对 过多的信息进行筛选是很有必要的，可以改善用户的上网体验，快速地定位找到用户所需的 信息，由此推荐系统应运而生。同时，随着大数据时代的到来，越来越多的数据会以流的形 式出现，但对数据流的利用率并不是很高，于是本文提出了将数据流分析与推荐系统相结合 的想法，以实现更加个性化的推荐方案。 本文立足于对数据流中的点击流数据进行研究分析，在此基础上从两个方面研究推荐方 法。首先，在 MapReduce 并行计算框架下研究频繁项集的挖掘，提出了一种新的基于二叉树 的并行频繁项集挖掘算法（以下简称为 FIMB 算法），利用一次 Map/Reduce 过程即可完成挖 掘，不需要进行迭代计算，充分应用了集群的并行性，并根据挖掘结果进行关联推荐。其次， 本文提出了一种在社交网络中基于信任的推荐系统模型，该模型的主要思想是代理在社交网 络中取得所需信息，并通过这些信息之间的信任关系来进行信息过滤；研究中还发现网络的 密度、代理之间偏好的各异性和知识的稀疏性都是影响系统性能的至关重要的因素。最后， 本文将点击流数据分析与两种推荐模型相结合，提出了一种基于点击流的推荐系统框架模型， 并用流程图的形式给出了系统框架，同时列举了几种准则来评估推荐系统的推荐效果。 本文通过实验对比的方式证明了 FIMB 算法的效率高于 CD 和 DD 两种并行算法，并采 用数学公式的计算方法来近似分析了社交网络中基于信任的推荐效果，具有一定的研究价值 和创新性。 关键词: 数据流， 频繁项集挖掘， MapReduce 并行计算， 信任关系， 推荐系统 I Abstract With the development of Internet technology, more and more people choose to shop online, see the news online and watch movies online. But people do not know what to choose among various options, thus the phenomenon of the so-called information overload appears.So it is necessary to filter the information to improve peoples feelings when they are surfing online and help people to find the information what they really want. Thus recommendation system arises at the historic moment.At the same time, because of more and more data appearing in the form of flow, and the utilization of the data stream is not very high, this paper presents an idea to combine the analysis of data stream and recommendation system to get more personalized recommendation results. This paper is aimed to analy