基于Spark Streaming增量协同过滤算法.docVIP

基于Spark Streaming增量协同过滤算法 　　摘 要：针对协同过滤算法处理大数据流时响应慢的缺陷，在改善推荐准确度的情况下，提出增量更新算法以加快响应速度，提高推荐系统性能。介绍了当前协同过滤算法以及KNN和Spark的相关知识，阐述了协同过滤算法的增量模型。采用Group Lens网站提供的Movie Lens数据集作为实验数据，应用Socket模拟流和Spark并行计算技术实现增量模型。实验结果显示，在保证推荐准确度的前提下，响应时间明显缩短，说明增量模型适合实时处理大数据流，可缓解数据处理不及时问题。 　　关键词：协同过滤；推荐系统；增量计算；实时流计算；Spark Streaming 　　DOI：10.11907/rjdk.173047 　　中图分类号：TP312 　　文献标识码：A 文章编号：1672-7800（2018）006-0088-04 　　Abstract：Because of the slow response of collaborative filtering algorithm in dealing with large data streams， this paper presents an incremental updating algorithm to speed up the response times and improve the recommendation system performance under the condition of guaranteeing the accuracy of recommendation. Firstly， this paper presents the background and purpose of the study， and then introduces the current collaborative filtering algorithm and its related knowledge of KNN and Spark. Secondly， the incremental model of collaborative filtering algorithm is proposed . Finally， we used Movie Lens dataset provided by Group Lens website was used as the experimental data source， with Spark Stream to receive stream data from Socket and Spark to parallel computing increment data . The experimental results showed that in the case of reliable recommendation accuracy， response times is significantly improved and it proves that the incremental model proposed in this paper is very suitable for real-time processing of large data stream to alleviate the problem of no timely processing data. 　　Key Words：collaborative filtering； recommender system； incremental computing； real-time stream computing； Spark streaming 　　0 引言 　　在大数据流环境下，各大电子商?胀?站都希望及时捕获、分析处理用户的偏好信息，及时响应用户的兴趣变化，给用户推荐喜欢的商品。以前一般是进行批量或小批量的全量分析，这样响应时间明显滞后于用户喜好的变化。目前推荐系统算法一般分为基于内容的推荐算法[1]、协同过滤推荐算法[2]以及混合推荐算法[3]3类，其中协同过滤推荐算法提出最早、应用范围最广。因此，本文针对该算法进行改进，在保证推荐准确度的前提下提出增量模型，解决推荐延迟或响应慢的问题。 　　1 协同过滤算法与实时流计算 　　1.1 协同过滤算法 　　协同过滤算法一般分为基于内存的协同过滤和基于模型的协同过滤。基于内存的协同过滤比较简单、高效，但遇到大规模数据时难以扩展、响应时间相对滞后。基于模型的协同过滤运用机器学习算法离线训练数据获得适当的模型，然后应用到实际场景中，这样不