基于Hadoop的协同过滤推荐并行化研究_曹萍.docxVIP

Computer Era No. 5 2016 ·  PAGE 32 · 计算机时代 2016 年 第 5 期 ·  PAGE 33 · DOI:10.16644/33-1094/tp.2016.05.008 基于 Hadoop 的协同过滤推荐并行化研究* 曹 萍 (南京审计大学信息化办公室，江苏 南京 211815) 摘 要：针对协同过滤（CF）推荐技术处理大数据时的计算效率问题，分析了 CF 算法的并行化。并行化 CF 算法采用 Hadoop 平台的 MapReduce 并行编程模型，改善大数据环境下 CF 算法在单机运行时的计算性能。在实验部分，设计不同 集群环境下的加速比实验，验证该算法在大数据环境中具有的计算性能。 关键词：协同过滤；计算效率；加速比；Hadoop；大数据 中图分类号：TP391 文献标志码：A 文章编号：1006-8228(2016)05-30-04 Research on parallelization of collaborative filtering recommendation based on Hadoop Cao Ping （Informatization Office, Nanjing Audit University, Nanjing, Jiangsu 211815, China） Abstract： For the computational efficiency problem existing in big data processing with collaborative filtering (CF) recommendation, parallel computing of CF is analyzed. Parallelized CF algorithm uses MapReduce parallel programming model on Hadoop platform, which improves the computational efficiency of single PC to process big data. In the experiment section, the speedup experiments in different cluster environments are designed to verify the better computing performance of the algorithm in big data processing. Key words：collaborative filtering；computational efficiency；speedup；Hadoop；Big data 0 引言 互联网时代，网络资源纷杂，信息过载，个性化推 荐成为缓解用户在网络中的信息迷茫问题的重要途 径[1]。在多项目、多领域的推荐中，因不依赖用户或项 目内容，具有较好通用性的协同过滤算法[2] 成为较成 功的推荐技术，因而其改进也受到广泛关注。然而改 进的算法通常是以牺牲计算效率换取计算准确度的 提升。随着大数据时代的来临[3-7]，解决计算效率的问 题也迫在眉睫。由于单机模式的计算能力有限，而分 布式计算具有多资源、可扩展、高效计算等优势，用分 布式计算实现高效的 CF 算法，既能提高推荐准确度， 又 能 保 证 计 算 效 率 。 目 前 主 要 使 用 云 计 算 平 台 Hadoop 实现算法的并行化，如文献[8-13]等是通过将 算法移植至 Hadoop 得到高计算性能的算法。 本 文 将 协 同 过 滤 推 荐 算 法 与 开 源 分 布 式 平 台 Hadoop 结合，研究协同过滤推荐算法的并行化，探索 其 MapReduce 过程设计，比较单节点计算与多节点计 算在计算效率上的差别，证明并行化后的算法在计算 效率上的优势，其更能适应大数据环境。我们将并行 化的 CF 算法简称为 PCF（CF in Parallel）。 1 CF 算法及 Hadoop 平台概述 1.1 CF 算法概述 协同过滤技术的思想简单易懂，利用群体的观点 为个人进行推荐，比如，日常生活中我们经常会参照 身边朋友的意见或行为，购买一些商品或作出某种选 择。在协同过滤技术中，用户之间是有联系的，他们 可以是朋友、邻居，根据趣味相投原则，邻居用户的喜 好是一致或相近的，所以，对于当前用户为其推荐邻 居的偏好项目。CF