基于GPU和分布式CPU的协同过滤推荐算法加速技术研究-计算机技术专业论文.docxVIP

摘 要 在这个信息爆炸式增长的年代，为了满足个体用户更精准和便捷的信息需 求，个性化推荐系统应运而生，而协同过滤推荐技术是已知最广泛被采用的一 种选择。由于数据规模的激增，传统的协同过滤算法若仍然运行于单机环境， 已难以满足推送的即时性需求。针对协同过滤推荐算法在大规模数据下的可扩 展性问题，如何提高算法运行速度是一个重要的研究方向。本文着重研究基于 GPU（计算机图形处理器，Graphics Processing Unit)和分布式 CPU 加速协同过 滤计算，主要工作和成果如下： 1. 实现基于 CPU 协同过滤推荐的两类经典算法 在单机模式下，使用 MATLAB 编程技术实现基于 CPU 协同过滤推荐的两类 经典算法 — 基于用户的（User-Based）和基于项目的（Item-Based）。相关的 实验数据将作为未来加速算法对比的性能基线；同时基于算法分析和实验结果 验证并确定出协同过滤算法的性能瓶颈，这是并行化处理研究的重要对象，真 正做到“有的放矢”。 2. 基于 GPU 实现协同过滤推荐的两类经典算法的方法 基于 GPU 计算模型研究协同过滤处理中的高计算密度部分迁移到 GPU 上 的途径。提出协同过滤推荐算法在 GPU 上加速实现的一种解决思路：在大数据 下，将算法中耗时大，时间复杂度高的计算部分调度至 GPU 上执行，而相对耗 时小的部分仍旧放在 CPU 上串行执行，从而实现整体加速效果。实验表明，算 法的整体加速效果取决于核心步骤的加速效果且 GPU 版本的算法在性能上较 CPU 版本有较显著地优势。 3. 设计一种基于分布式 CPU 实现协同过滤推荐的两类经典算法的方法 由于利用 MATLAB 分布式计算服务器（MATLAB Distributed Computing Server，MDCS）和并行计算工具箱（Parallel Computing Toolbox，PCT）搭建 的分布式计算平台具有易扩展、易部署、易使用，支持任务并行等优点，因此 将其引入到协同过滤推荐算法中，对算法进行分布式并行程序设计，实现基于 分布式 CPU 协同过滤推荐算法的加速。并分析了基于单机 GPU 和分布式 CPU 并行处理的相对加速效果。 I 通过基于经典的 MovieLens 数据集的实验验证，本文发现 GPU 和分布式 CPU 对加速协同过滤推荐算法均有显著效果，进一步了解 GPU 和分布式 CPU 加速技术的工作原理和实际意义。 由于距离计算是诸多机器学习和数据挖掘算法的核心计算任务，本文积累 和总结的基于 CPU 和 GPU 并行加速距离计算的实现经验将对其他智能算法在 提高性能方面的改进有一定的借鉴作用。 关键词：协同过滤 GPU 分布式 CPU 并行计算 加速技术 II Abstract In this era of information explosion, in order to meet the more accurate and convenient needs of individual users, personalized recommendation system emerges and attracts more attention. Among existing applicable technique, collaborative filtering is known as the most widely deployed solution. Due to the fast growing of data size, if traditional collaborative filtering algorithms also run in the stand-alone environment, the calculation process of the stand-alone mode recommendation algorithm will be difficult to meet the immediate needs. According to the scalability of the collaborative filtering recommendation algorithm in the large scale data, how to speed up the running time has become an important research direction. This paper will focus on study of accelerating GPU and Distributed CPU-based collaborativ