r实现mapreduce的协同过滤算法_光环大数据培训机构.pdfVIP

光环大数据--大数据培训人工智能培训 R 实现 MapReduce 的协同过滤算法_光环大数据培训机构 1.基于物品推荐的协同过滤算法介绍 2.R 本地程序实现 3.R 基于 Hadoop 分 步式程序实现 每一章节，都会分为”文字说明部分”和”代码部分”，保持文字说明与代 码的连贯性。 注：Hadoop 环境及 RHadoop 的环境，请查看同系列前二篇文章，此文将不 再介绍。 1. 基于物品推荐的协同过滤算法介绍 文字说明部分： 越来越多的互联网应用，都开始使用推荐算法 (协同过滤算法)。根据用户活 跃度和物品流行度，可以分为”基于用户的协同过滤算法”和”基于物品的协同 过滤算法”。 基于用户的协同过滤算法，是给用户推荐和他兴趣相似的其他用户喜欢的物 品。 基于物品的协同过滤算法，是给用户推荐和他之前喜欢的物品相似的物品。 基于物品的协同过滤算法，是目前广泛使用的一种推荐算法，像 Netflix, YouTube, Amazon 等。 算法主要分为两步： 1. 计算物品之间的相似度 2. 根据物品的相似度和用户的历史行为给用户生成推荐列表 光环大数据 光环大数据--大数据培训人工智能培训 有关算法的细节请参考：”Mahout In Action”和”推荐系统实践”两本书。 为开发方便，我们选择一组很小的测试数据集。 测试数据，来自于”Mahout In Action” P49 原第 8 行，3,101,2.5 改为 3,101,2.0 每行 3 个字段，依次是用户 ID,物品 ID,对物品的评分 代码部分： 在服务上创建测试数据文件 small.csv ~ pwd/root/R~ vi small.csv1,101,5.01,102,3.01,103,2.52,101,2.02,102,2.52,103,5.02,104, 2.03,101,2.03,104,4.03,105,4.53,107,5.04,101,5.04,103,3.04,104,4.54,1 06,4.05,101,4.05,102,3.05,103,2.05,104,4.05,105,3.55,106,4.0~ lssmall.csv 2. R 本地程序实现 首先，通过 R 语言实现基于物品的协同过滤算法，为和 RHadoop 实现进行对 比。这里我使用”Mahout In Action”书里，第一章第六节介绍的分步式基于物 品的协同过滤算法进行实现。Chapter 6: Distributing recommendation computations 算法的思想： 1. 建立物品的同现矩阵 2. 建立用户对物品的评分矩阵 3. 矩阵计算推荐结果 光环大数据 光环大数据--大数据培训人工智能培训 文字说明部分： 1. 建立物品的同现矩阵 按用户分组，找到每个用户所选的物品，单独出现计数，及两两一组计数。 例如：用户 ID 为 3 的用户，分别给 101,104,105,107，这 4 个物品打分。 1) (101,101),(104,104),(105,105),(107,107)，单独出现计算各加 1。 2) (101,104),(101,105),(101,107),(104,105),(104,107),(105,107)，两 个一组计数各加 1。 3) 把所有用户的计算结果求和，生成一个三角矩阵，再补全三角矩阵，就 建立了物品的同现矩阵。 如下面矩阵所示： [101] [102] [103] [104] [105] [106] [107][101] 5 3