推荐算法综述-1.pptVIP

问题和分析 推荐算法缺点和挑战 数据的稀疏性 冷启动 可扩展性 实时性 特征提取 推荐结果解释 过拟合 托攻击问题 隐私问题 多种数据和多种推荐技术的有效集成 自动化推荐（根据用户行为，不一定要 显示评分） 数据的稀疏性 数据稀疏性的解决办法： 降维技术----压缩矩阵（采用奇异值分解方法删除不重要的或噪音用户和项目） 采用潜在语义索引技术 将 用户-项目 矩阵转换成 用户-类别 矩阵 矩阵填充技术（BP神经网络、Na?ve Bayesian分类方法、基于内容的预测、基于项评分预测的IRPRec） 冷启动 协同过滤的缺点：冷启动 冷启动问题的解决方法：基于内容的最近邻居查找技术 可扩展性 数据集 常用的数据集： MovieLens EachMovie BookCrossing Jester Joke Netflix Usenet Newsgroups UCI知识库 评价准则 统计精度度量：平均绝对误差MAE、均方根误差RMSE ------为用户估计特定项目的评分 决策支持精度度量：查全率recall、查准率precise、ROC(Receiver Operating Characteristic) --------为用户产生一个推荐项目列表 推荐系统 推荐系统实例： TYPESTRY / ACF / GroupLens / MovieLens / Ringo / Video Recommender / FAB 电子商务应用： A / CDN / CtoB eB 谢谢！ * 推荐算法综述 苏芳芳 2014-10-14 电子商务推荐 将电子商务系统的浏览者转变为购买者：浏览者经常没有购买欲望，电子商务推荐他们感兴趣的商品，从而完成购买过程。 提高电子商务系统的交叉销售：推荐用户确实需要但是在购买过程中没有想到的商品列表。 保留用户：提高推荐质量，让用户对该系统产生依赖。 研究内容和方向 推荐技术研究 实时性研究 推荐质量研究 多种数据多种技术的集成 数据挖掘技术的应用（关联规则挖掘、序列模式挖掘、聚类 分析、贝叶斯分类） 用户隐私保护研究 推荐系统可视化研究（可视化研究和推荐结果解释研究） 推荐算法主要算法 协同过滤推荐算法 基于内容的推荐算法 基于图结构推荐 基于关联规则推荐 基于知识推荐 混合推荐 协同过滤推荐 协同过滤推荐算法有： 基于用户的协同过滤推荐算法 基于项目的协同过滤推荐算法 基于降维的协同过滤推荐算法 基于聚类的协同过滤推荐算法 基于用户的协同过滤推荐 基于用户协同过滤推荐根据其他用户的观点产生对目标用户的推荐列表 基于用户的协同过滤推荐 算法步骤： 1、数据表示：对用户已经购买过的商品进行建模 2、最近邻查询：计算相似度，搜索当前用户的最近邻居 3、推荐产生：根据最近邻对商品的评分预测当前用户对商品的评分，产生top-N商品 基于用户的协同过滤推荐 1、数据表示 基于用户的协同过滤推荐 2、最近邻查询 计算当前用户和其他用户的相似度，选择相似度高的若干用户作为最近邻。 相似度计算： 余弦相似性 修正的余弦相似性 相关相似性（pearson correlation） 基于图结构的相似度 基于用户的协同过滤推荐 相似度计算方法 余弦相似性： 修正的余弦相似性： 相关相似性： 基于用户的协同过滤推荐 3、推荐产生 计算用户u对项i的预测评分Pu,i : 选择评分高的的若干项目推荐给用户u。 基于项目的协同过滤推荐 基于项目协同过滤推荐根据用户对相似项最近邻居的评分产生对目标用户的推荐列表 基于项目的协同过滤推荐 算法步骤： 1、最近邻查询：搜索目标项的最近邻居 2、推荐产生：根据用户对目标项最近邻居的评分预测用户对目标项的评分，产生top-N商品 基于聚类的协同过滤推荐 将整个用户空间根据用户的购买习惯和评分特点划分为若干个不同的聚类； 根据每个聚类中用户对商品的评分信息生成一个虚拟用户，将所有虚拟用户对商品的评分作为新的搜索空间； 查询当前用户在虚拟用户空间中的最近邻居，产生对应的推荐结果。 查询效率高、实时响应快 基于聚类的协同过滤推荐--划分聚类 K-means聚类算法： 1).随机选择k个用户作为种子节点,将k个用户对项的评分数据作为初始的聚类中心。 2)对剩余的用户集合,计算每条用户与k个聚类中心的相似性,将每个用户分配到相似性最高的聚类中。 3)对新生成的聚类,计算聚类中所有用户对项的平均评分,生成新的聚类中心。 4)重复以上2到3步,直到聚类不再发生改变为止。 基于聚类的协同过滤推荐 虚拟用户集生成 根据不同的聚类生成对应的聚类中心,聚类中心与聚类中其他用户的