基于矩阵分解的协同过滤算法的并行化研究.pdfVIP

第25卷 第2期 计 算 机 技 术 与发 展 Vo1．25 No．2 2015年 2月 C0MPUTERTECHNOL0GYAND DEVEL0PMENT Feb． 2015 基于矩阵分解的协同过滤算法的并行化研究 王全民，苗 雨，何 明，郑 爽 (北京工业大学计算机学院，北京 100124) 摘 要：基于矩阵分解的协同过滤算法是近几年提出的一种协同过滤推荐技术，但其每项预测评分的计算都要综合大量 评分数据，同时在计算时还需要存储庞大的特征矩阵，用单一节点来进行推荐将会遇到计算时间和计算资源的瓶颈。通 过对现有的基于ALS(最小二乘法)的协同过滤算法在Hadoop上并行化实现的原理和特点进行深入的研究，得到了传统 的迭代式算法在Hadoop上运算效率不高的原因。根据迭代式MapReduce思想，提出了循环感知任务调度算法、缓存静态 数据、任务循环控制、迭代终止条件检测等方法。通过在Netflix数据集上的实验表明，迭代式MapReduce思想提高了基于 ALS的协同过滤算法的并行化计算的效率。 关键词：ALS算法；协同过滤 ；Hadoop；迭代式 MapReduce 中图分类号：TV301．6 文献标识码 ：A 文章编号：1673—629X(2015)02—0055—05 doi：10．3969／j．issn．1673—629X．2015．02．013 ParallelizedResearch onCollaborativeFilteringAlgorithm Basedon M atrixFactorization WANGQuan—min，MIAOYu，HEMing，ZHENGShuang (CollegeofComputerScience，BeijingUniversityofTechnology，Beijing100124，China) Abstract：Collaborative~teringalgorithm basedonmatrixfactorizationisacollaborativefilteringrecommendationtechniqueproposedin recentyears．Inhteprocessofrecommendationeachpredictiondependsonhtecollaborationofhtewholeknownratingsetandhtefeature matricesneedhugestorage．Sohterecommendationwiht onlyonenodewillmeethtebottlencekoftimeandresource．Through in—depth studyonhteprinciplenadfeatureofcurrentparalldimplementationofacollaborativefilteringalgorithmbasedonALS (Alternating- Least—Squraes)，gethtereasonwhyhtecomputingefficiencyofhteimplementationoftraditionaliterativealgorihtmonHadoopisvery low．AccordingtohteideaofiterativeMapReduce，somemethodssuchasloop-awareschedulingalgorithm，satticdaatcaching，jobloop conrtolling，fixedpointdetectingareproposde ．TheexperimentonNetflixdaat setshowsthattheiterativeMapReducehasimprovedthe parallelcomputin