一种基于Spark的改进协同过滤算法研究.pdfVIP

第34卷第5期 计算机应用与软件 V01．34No．5 2017年5月 and Software Mav2017 ComputerApplications 一种基于Spark的改进协同过滤算法研究 许智宏1’2蒋新宇1董永峰1’2赵嘉伟1 1(河北工业大学计算机科学与软件学院天津300401) 2(河北省大数据计算重点实验室天津300401) 摘要 为提高协同过滤算法在大数据环境下的可扩展性以及在高维稀疏数据下的推荐精度，基于Spark平 台实现了一种分层联合聚类协同过滤算法。利用联合聚类对数据集进行稀疏性处理并构建聚类模型，运用层次 分析模型并结合评分密集度分析联合聚类模型中用户和项目潜在类别权重，由此进行项目相似度计算并构建项 法能够明显提高推荐的准确度，并且在分布式环境下具有良好的推荐效率和可扩展性。 关键词 协同过滤联合聚类 层次分析模型 Spark 中图分类号TP3 文献标识码A ANIMPROVED CoLLABoRATIVEFILTER玎NGALGoRITHMBASEDONSPARK Xu ZhaoJiaweil Zhihon91，2 JiangXinyulDongYongfen91·2 2(School Scienceand ofComputer Engineering，HebeiUniversityofTechnology，ria@n300401，China) Province 2(Hebei Data KeyLaboratoryofBigCalculation，Tianjin300401，China) AbstractInorder to the ofcollaborative in dataenvironmentandthe improvescalability filteringalgorithmbig recommendationin dimensional hierarchical collaborative accuracy data，a high sparse CO-clustering filteringalgorithm basedon is datasetsare andthe modelis sparkimplemented．The sparselyprocessedbyusingCO-clusteringclustering constructed．The ofusersand inthe modelare the potentialcategoriesweight projects CO—clustering analyzedbyusing modelcombinedwiththe iscalculatedandthe analytichierarchy score—densityanalysis．Theprojectsimilarity p