基于SparkSlope One算法优化与实现.docVIP

基于SparkSlope One算法优化与实现 　　摘 要：传统Slope One算法未考虑用户相似性和?目相似性对评分效果的影响，从而导致推荐准确率不高，并且在当前大数据背景下，传统Slope One算法运行效率低下。针对以上问题，提出一种基于Spark的改进加权Slope One算法，该算法融入了相似性计算、活跃用户筛选和用户聚类等技术，并在Spark平台上实现了并行化。通过在MovieLens数据集上进行试验验证，并比较算法在Spark和Hadoop平台并行化的运行效率，证实了该算法可以有效降低MAE，且在Spark平台下运行效率更高，更适用于大数据处理场景。 　　关键词：Slope One；聚类；用户相似性；项目相似度；Spark 　　DOI：10.11907/rjdk.172877 　　中图分类号：TP312 　　文献标识码：A 文章编号：1672-7800（2018）006-0092-03 　　Abstract：The traditional slope one algorithm does not consider low user similarity and item similarity on scoring effect， which leads to low recommendation accuracy， and in the current big data background， it suffers from low efficiency of operation. In order to solve the above problems， an improved weighted Slope One algorithm based on Spark is proposed in this paper. The algorithm integrates similarity computing， active user filtering and user clustering technology， and implements parallelization on Spark platform. Through the experiments on MovieLens data sets， this article confirms that the algorithm can effectively reduce MAE， and compares the running efficiency of the parallel algorithm in Spark and Hadoop platform to confirm this algorithm in Spark platform runs more efficiently， more suitable for big data processing. 　　Key Words：Slope One； clustering； user similarity； project similarity； Spark 　　0 引言 　　随着信息资源的爆炸式增长，人们对个性化服务的需求逐渐增加，推荐系统已成为电子商务、社交网络等领域的重要技术。Slope One算法是由Lemire等在2005年提出的一种推荐算法，其是一种基于项目的算法，且原理简单，推荐准确率高。但该算法也存在一些不足，如未考虑数据稀疏性，以及用户与物品相似性等问题。 　　因此，很多人对Slope One算法进行了优化改进。例如，刘伟江[1]采用平均值和SVD技术对用户项目评分矩阵进行填充，但未考虑项目相似度和用户相似度的影响；李剑锋[2]提出一种局部近邻Slope One算法，该算法需要计算用户针对不同商品的邻居用户，但是对于每一次推荐都要计算目标用户的近邻用户，对于一个有几百万活跃用户的电子商务网站而言，计算量非常大；蒋宗礼[3]提出一种基于聚类的Slope One算法，但没有对用户进行筛选，将全部用户进行聚类容易混入噪声数据，聚类效果并不理想。 　　本文提出一种基于聚类与Spark的改进加权Slope One算法，首先依据活跃函数筛选出活跃用户，采用K-means算法确定k个聚类中心。因为在现实环境中，用户是很少评分或不评分的，用那些评分较多的优质用户进行聚类，不仅可以减少计算量，而且可以去除噪声，提高聚类效果；然后分别计算每个聚类的项目评分偏差表和物品相似度表。因为相似用户对物品具有相似偏好，因此不同类用户应该使用不同的项目评分偏差表和项目相似度表。上述两步都可以离线计算，并将计算结果保存在数据库或文件系统中，方便以后使用；最后对于目标用户确定其所