基于Spark的矩阵分解与最近邻融合的推荐算法.pdfVIP

计 算 机 系 统 应 用 http：／w／ww．c—S—a．org．cn 2017年 第26卷 第 4期 基于Spark的矩阵分解与最近邻融合的推荐算法① 王振军 ，黄瑞章 1,2 (贵州大学 计算机科学与技术学院，贵阳 550025) (贵卅I省公共大数据重点实验室，贵阳 550025) 摘 要：随着当前移动互联网的快速发展，人们所面临的信息过载问题变得尤为严重，大数据场景下对特定用户 的个性化推荐面临着巨大挑战．为了进一步提高推荐的时效性、准确度以及缓解面临的大数据量．提出了一种矩 阵分解推荐算法在大数据环境下的优化算法模型．该模型通过在传统矩阵分解推荐算法的基础上融合了用户以 及物品的相似性计算，在训练 目标函数的过程中，即融入用户以及物品的前 k个最近邻居的相似性计算，增强了 算法的推荐准确度．利用 Spark在内存计算以及迭代计算上的优势，设计了一种 Spark框架下的矩阵分解与最近 邻融合的推荐算法．通过在经典数据集--MovieLens数据集上的实验结果表明，该算法与传统的矩阵分解推荐算 法相比，可以很好的缓解数据稀疏性，提高推荐算法的准确度，并且在计算效率方面也优于现有的矩阵分解推荐 算法． 关键词：协同过滤；推荐算法；矩阵分解；交替最小二乘法；Spark RecommendationAlgorithm UsingM atrixDecompositionandNearestNeighborFusionBased onSpark WANG Zhen—Jun ．HUANG Rui．Zhang’ (SchoolofComputerScienceandTechnology，GuizhouUniversity，Guiyang550025，China) (GuizhouProvincia1KeyLaboratoryofPublicBigData．Guiyang550025．China) Abstract：WiththecurrentrapiddevelopmentofmobileIntemet，theinformationoverloadproblem thatpeoplefaceis particularlyserious，whichmakesitabigchallengetodoparticularusers’personalizedrecommendationinthebigdata scenario．Inordertofurtherimprovethetimeliness，accuracyofrecommendationandeasetheproblem ledbylarge amountofdata，weproposeaoptimizedmatrixdecompositionrecommendationalgorithm undertheenvironmentofbig datainthispaper．Thisalgorithm integratesusersandthesimilaritycomputationofitemsonthebasisofthetraditional matrixdecompositionalgoritmh ．Intheprocessoftrainingobjectivefunction，weenhancetherecomm endationaccuracy bytakinginaccountofusersandknearestneighbors’similaritycomputationofitems．TakingSpark’Sadvantageon memorycomputinganditerativecomputing，wedesignanalgorithm usingmatrixdecompositionandnearestneighbor fusionundertheSprakframework．ExperimentsconductedontheclassicalM ovieLensdatasetshow thatourproposed algorithm Cna dealwith datasparsenesswell，improverecommendation accuracy tosomeextent，andhasabetter computationaleffi ciencyinhtecomparisonwithrtaditionalmatrixdecompositionrecommendationalgoritmh s． Ke