基于Spark的并行推荐算法的研究与实现-软件工程专业论文.docxVIP

西南交通大学硕士学位论文主要工作(贡献)声明本人在学位论文中所做的主要工作或贡献如下： 西南交通大学硕士学位论文主要工作(贡献)声明 本人在学位论文中所做的主要工作或贡献如下： (1)本文通过引入项目属性特征相似度对基于项目的协同过滤算法做了改进，并 通过实验验证了改进算法的预测准确度。 (2)引入用户与项目相关性以及项目之间的相似度改进了Slope One协同过滤算 法，并通过实验验证了改进算法的预测准确度。 (3)利用Spark平台实现基于项目协同过滤改进算法与Slope One改进算法的并 行化，并通过实验验证了并行改进算法的性能。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。本 人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位做作者繇却妙 日期：2-o，二．4-．砰 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第1页 摘要 随着互联网的迅猛发展，信息技术与经济社会的交融碰撞，引发了数据迅猛增长， 显然我们已经进入了大数据时代。大数据时代在带来资讯极度丰富的同时也使得用户 在面对海量数据时需要花费大量的时间去筛选自己真正需要的信息，信息超载的现象 越来越明显。协同过滤算法作为解决信息超载的关键技术之一，虽然被广泛应用于视 频音乐网站、电子商务等多个领域，但是仍然存在着预测准确度不理想、冷启动等问 题。同时，面对日益增加的数据量，传统的协同过滤算法出现了可扩展性问题，无法满 足海量数据的计算需求，分布式并行计算框架的出现为解决该问题提供了新的思路。 Spark是新兴的通用并行计算框架，借助其内存计算的优势，成为近两年大数据处理领 域的研究重点。本文拟研究协同过滤算法，针对其预测准确度不理想、冷启动等问题进 行改进，并将改进算法在Spark平台下进行并行化设计与实现，从而进一步解决算法的 可扩展性问题。主要工作包括以下几个方面： (1)分析了协同过滤中基于项目、Slope One算法的基本原理和具体计算流程以 及算法存在的不足。 (2)针对基于项目的协同过滤算法存在的项目冷启动以及评分数据稀疏情景下预 测准确度不高的问题，本文引入了项目属性特征相似度。在计算项目相似度时将项目 属性特征相似度与评分相似度进行组合，以此来减少数据稀疏对相似度计算的负面影 响。实验结果表明，本文的改进算法相比传统方法预测准确度更高，并且在评分矩阵稀 疏的情景下，效果更明显。 (3)针对Slope One算法在预测评分时仅仅依赖用户对不同项目的评分差异而没 有考虑项目以及用户间相似性的问题，本文通过引入用户项目之间的相关性以及项目 之间的相似度对算法做了改进。实验结果表明，改进的SlopeOne算法相比传统方法提 高了预测的准确度。 (4)实现了基于项目协同过滤改进算法与Slope One改进算法在Spark平台的并 行化。Speedup与Sizeup的实验结果表明，文中实现的算法并行性能良好，解决了算法 可扩展性问题，同时提高了算法的运行效率。 关键词：Spark：并行化；Slope One；基于项目的协同过滤 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第lI页 Abstract With the rapid development of the Internet，the integration and interaction between information technology and economic society lead to the rapid growth of data．It is clear that we have entered the era ofbig data．User can get extremely rich information，whereas one also has to spend a lot of time screening required information in face of massive data．The phenomenon of information overload is increasingly apparent．Recommended technology as a key technology to solve the information overload has been widely used in many fields like e-commerce，music and video site，b