基于Hadoop的改进聚类协同推荐研究.pdfVIP

重庆大学硕士学位论文 中文摘要 摘 要 随着互联网的普及应用，人们可以根据自身需求从网络中获取需要的文本、 图片以及视频等信息，满足了人们的多样化信息需求。但是当前的网络中充斥着 大量的无用信息，使得人们难以在短时间内获取到真正需求的信息。这就是随着 网络发展而带来的信息过载问题，这种现象降低了人们获取信息的效率，影响人 们的网络体验。很多企业以及研究机构对此进行了研究，并提出了不同的策略来 解决信息过载的问题。其中推荐系统是一种常用的方法，主要是根据用户信息、 兴趣爱好以及用户历史行为数据等设计合适的推荐算法，然后推荐出与用户喜好 较为一致的信息，采用这种方式可以将用户可能需要或者感兴趣的东西直接推荐 给用户，节省了用户巨大的时间和精力。 协同推荐算法虽然得到了一定的应用，但是也存在数据稀疏性、冷启动、推 荐速度等亟需解决的问题。本文主要针对以上三个问题进行研究与分析，研究的 主要内容包括： 1 ○ 本文基于粒子群优化算法（PSO ）对传统的K-means 算法进行改进。改进 后的算法（Deep-K-means 算法）不会受到初始聚类中心的影响，同时也不会出现 局部最优的情况。该聚类算法具有较强的优势，应用在协同推荐算法上能够有效 解决数据稀疏性问题，并能提高推荐速度。 2 ○ 针对新用户，本文根据属性熵值来划分类簇，在所属类簇中计算已有属性 的相似度，然后根据计算结果得到其最近邻居集，此时可以根据相似度权重对新 用户进行评分，并根据输出的结果进行推荐，以此改进新用户冷启动的问题。 3 ○ 本文将改进后的算法在 Hadoop 平台上进行实现，解决了原有算法运行时 间长的问题。Hadoop 平台的利用，能够极大地提高推荐效率。 为了验证本文算法的有效性，本课题进行了大量的实验分析，实验结果表明 本课题具有一定的先进性，能够更好地进行用户推荐。 关键词：协同推荐；冷启动；Hadoop ；粒子群优化 I 重庆大学硕士学位论文 英文摘要 Abstract With the popularization and application of the Internet, people can obtain the required text, pictures and video information from the network according to their own demand, which meets the diverse information needs of people. However, the current network is full of a large amount of useless information, which makes it difficult for people to get the information they want in a short time.This is the problem caused by information overload brought about by the development of the network, which reduces the efficiency of peoples access to information and affects peoples online experience. Many enterprises and research institutes have studied and proposed different strategies to solve the problem of information overload. Amon