推荐系统说明1.docVIP

推荐系统说明 该推荐系统是采用协同过滤的思想，通过hadoop平台分布地计算物推结果，对于暴风客户端的推荐需求，使用hadoop 可以分为以下5个部分： 需要说明的是，该实现主要是为了计算, 算法会分开计算分子和分母。 数据的清理flush_map.py flush_reduce.py： 输入格式（uid mid typeid）： 输出格式(uid {typeid:[mid..]}) 计算分母 vector_norm_map.py vector_norm_reduce.py: 输入数据为第1步的输出数据： 输出数据为每个物品的长度(分母)： 计算分子 vulture.map vulture.reduce 输入数据为第1步的输出： 输出数据为每对分子，以及1除以两个物品的长度的乘积： 合并 merge_map.py merge_reduce.py 输入为第三步的输出 输出为每对物品的相似度： 每对相似度排序： 输入为第4步的输出： 输出为前K个相似物品： 详细讲解第2，3，4步： m1 m2 m3 m4 U1 1 1 1 U2 1 1 1 U3 1 1 1 第2步，计算分母： |m1| = √2=1.414 |m2| = √2=1.414 |m3| = √3=1.732 |m4| = √2=1.414 第3步，计算分子： U1看了 m1,m3,m4 部电影, 他们的排列组合为 (m1,m3),(m1,m4),(m3,m4) 对应的结果是： m1,m3 1/(1.414*1.732) m1,m4 1/(1.414*1.414) m3,m4 1/(1.732*1.414) 对于U2,U3做同样的操作。 第4步，合并： 从第三步获得数据后，通过map按照电影对排序，例如对于m3,m4 我们能得到： m3,m4 0.4082 m3,m4 0.4082 我们合并这两个结果得到：m3,m4 的相似度为 0.4082+0.4082 = 0.8164 验证： 按公式 Sim(m3,m4) = 2/(1.732*1.414) = 0.8164 结果正确。