基于Spark矩阵分解算法.docVIP

基于Spark矩阵分解算法 　　摘要：针对传统矩阵分解算法在处理海量数据信息时所面临的处理速度和计算资源的瓶颈问题，利用Spark在内存计算和迭代计算上的优势，提出了Spark框架下的矩阵分解并行化算法。首先，依据历史数据矩阵初始化用户因子矩阵和项目因子矩阵；其次，迭代更新因子矩阵，将迭代结果置于内存中作为下次迭代的输入；最后，迭代结束时得到矩阵推荐模型。通过在GroupLens网站上提供的MovieLens数据集上的实验结果表明，加速比（Speedup）值达到了线性的结果，该算法可以提高协同过滤推荐算法在大数据规模下的执行效率。 　　关键词：协同过滤；推荐算法；矩阵分解；迭代最小二乘法；Spark 　　中图分类号： TP301.6 　　文献标志码：A 　　Abstract： In order to solve the bottleneck problems of processing speed and resource allocation， a Spark based matrix factorization recommendation algorithm was proposed. Firstly， user factor matrix and item factor matrix were initialized according to historical data. Secondly， factor matrix was iteratively updated and the result was stored in memory as the input of next iteration. Finally， recommendation model was generated when iteration ended. The experiment on MovieLens shows that the speedup is linear and the proposed Spark based algorithm can save time and significantly improve the execution efficiency of collaborative filtering recommendation algorithm. 　　Key words： collaborative filtering； recommendation algorithm； matrix factorization； Alternating Least Square （ALS）； Spark 　　0引言 　　随着互联网的迅猛发展，为了满足人们在繁多的信息中获取自己需要内容的需求，个性化推荐应用而生。协同过滤推荐[1]是其中运用最为成功的技术之一。其中，基于用户的最近邻法根据相似用户的评分来预测当前用户的评分[2]。然而，在用户数量以及用户评分不足的情况下，该方法存在冷启动和数据稀疏的问题。文献[3]提出了基于项的最近邻法，利用项之间相似性稳定的特点可以离线计算相似性，降低了在线计算量，提高了推荐效率，但同样存在冷启动和数据稀疏问题。文献[4]使用矩阵分解中的奇异值分解（Singular Value Decomposition， SVD）减少评分矩阵的维数，之后应用最近邻法预测评分，一定程度上解决了同义词问题，但由于评分矩阵中大部分的评分是分解之前填充的，所以得到的特征矩阵不能直接用于评分。文献[5]提出了一种基于矩阵分解和用户近邻模型的算法，解决了数据稀疏的问题，但存在模型过拟合的问题。文献[6]提出了一种支持不完整评分矩阵的矩阵分解方法，不用对评分矩阵进行估值填充，有很好的推荐精度。在Netflix推荐系统竞赛中的应用表明，该矩阵分解相对于其他的推荐算法能产生更精确的推荐。 　　在矩阵分解推荐算法中，每项评分预测都需要整合现有评分集的信息。随着用户数与项目数的增长，算法的计算量也会随着增长，单机模式的推荐算法逐渐难以满足算法的计算以及推送的即时性需求，因此分布式推荐算法成为推荐算法中研究的一个新的方向。文献[7-8]提出了分布式的矩阵分解算法，为矩阵分解的并行计算提供了一种可行的解决方案，但其使用的MapReduce框架在各计算节点的迭代计算中会产生过多的文件读取操作，影响了算法的执行效率。 　　本文旨在将文献[6]提出的矩阵分解推荐算法与专长于内存计算和迭代计算的Spark并行计算框架结合，探索矩阵分解算法在Spark上的实现，来解决大数据情况下矩阵分解推荐算法时间代价过高的问题。 　　1矩阵分解推荐算法与Spark平台 　　1.1矩阵分解推荐算法 　　其中：n表示项目数量，