基于Spark推荐系统设计与实现.PDFVIP

第28卷 第10期 计 算机 技 术 与发 展 Vol.28 No.10 2018年10月 COMPUTERTECHNOLOGY AND DEVELOPMENT Oct. 2018 基于Spark 的推荐系统的设计与实现 李 星,李 涛 (南京邮电大学通信与信息工程学院,江苏 南京 210003) 摘 要:推荐系统是数据挖掘的一个重要部分,能够实现海量数据信息的快速、全面、准确过滤。 然而基于以往传统单个 主机模式实现的推荐算法其计算过程耗费的时间过长,已经不能满足当前商业时代快速可靠的技术追求。 大数据平台 Spark分布式计算框架通过引入RDD(弹性分布式数据集)的概念以及基于内存的运算模式,能够更好地适应大数据挖掘 这一应用场景。 推荐算法在实现过程中存在多次迭代计算,Spark计算框架的使用可以极大提升推荐系统的运算效率。