reviewofevaluationofpersonalizedrecommeder-techtrace.pptVIP

个性化推荐系统评价方法综述 USER 用户 个性化推荐系统 二元关系 binary relationship OBJECT 产品 信息记录 用户喜好分析 推荐算法 信息过滤 * 当前主要的推荐算法 协同过滤推荐算法 基于内容的推荐算法 基于用户-产品二部图关系的推荐算法 混合推荐算法 大量新算法不断涌现。。。 评价推荐算法 困难的 不同算法在不同数据集上表现不同 评价的目的也不尽相同 在线用户参与的需要与否 评价指标选择的困难 准确度 预测打分关联 距离标准化 半衰期效用 预测 分类 排序 目前已有的推荐系统的推荐指标 推荐算法准确度的评价指标 预测准确度 预测准确度考虑推荐算法的预测打分与用户实际打分的相似程度 预测准确度的一个经典度量方法是度量系统的预测打分与用户的实际打分的平均绝对误差( MAE) c为系统中用户i打分产品的个数, r为用户的实际打分, v为系统的预测打分 局限性：不适用以下情形 用户只注重推荐列表前端的预测误差，不关心整体误差 在用户偏差较小时，用户只关心好坏产品误归类的比例 优点：1、计算简单 2、每个系统的值唯一，能够区分差异 分类准确度 分类准确度定义为推荐算法对一个产品用户是否喜欢判定正确的比例 局限性： 应用于实际的离线数据时，可能会受到打分稀疏性的影响 目前针对稀疏集的评价方法： 忽略还没有打分的产品（演变为预测打过分的产品中排名靠前的产品） 假设存在默认打分，一般为负（可能与实际打分相去甚远） 计算用户打分高的产品在推荐列表中出现的次数（对未知数据表现差） 分类准确度评价并不直接评价算法的打分是否准确。如果分类的信息准确无误,与实际打分存在偏差也是允许的 目前广泛使用的分类准确度指标 准确率 准确率定义为系统的推荐列表中用户喜欢的产品和所有被推荐产品的比率: 假设系统中的产品总数为N,被推荐产品的总数为Ns,其中Ns=Nrs+Nis , Nrs和Nis分别为被推荐产品中用户喜欢和不喜欢的产品数。相应地, N rn和Nin分别为未被推荐产品中用户喜欢和不喜欢的产品数。而Nn =Nrn +Nin为未被推荐的产品数。显然,N =Ns +Nn 目前广泛使用的分类准确度指标 召回率 召回率定义为推荐列表中用户喜欢的产品与系统中用户喜欢的所有产品的比率 假设系统中的产品总数为N,被推荐产品的总数为Ns,其中Ns=Nrs+Nis , Nrs和Nis分别为被推荐产品中用户喜欢和不喜欢的产品数。相应地, N rn和Nin分别为未被推荐产品中用户喜欢和不喜欢的产品数。而Nn =Nrn +Nin为未被推荐的产品数。显然,N =Ns +Nn 准确率和召回率计算方法 1、以用户为中心 1、以系统为中心 分别计算每个用户的准确率和召回率,再对所有的用户进行平均。这种方法的重点在于考虑用户的感受,保证每个用户对系统表现的贡献强度是一致的 以考察系统的总体表现为目的,不需要对所有用户做平均 准确率和召回率 局限性 依赖于用户喜欢和不喜欢的产品分类 SarwarBM方法及局限性 用户打分数据 训练集 测试集 算法推导 推荐列表 前L项 数据 出现在前L项的比例作为召回率 准确率和召回率 SarwarBM方法及局限性 1、测试集中用户喜欢的产品只是所有用户喜欢产品中的一小部分 2、其需要指出的是这个指标严重依赖于每个用户打过分的产品中用户喜欢的产品的比例 准确率和召回率对推荐系统进行评价的最大问题在于它们必须要一起使用才能全面评价算法的好坏 PazzaniM等把二者综合考虑提出了F指标 F =2PR / P+R 其中, P为准确率, R为召回率。由于F指标把准确率和召回率统一到一个指标,因此得到了广泛的应用 ROC曲线（度量系统分类准确度） 相对工作特征（SwetsJ A）或者受试者工作特征 HerlockerJ介绍的画法 1)确定用户对每个产品感兴趣与否 2)根据预测结果为用户提供一个推荐列表,从图的原点开始，预测的产品符合用户喜好,画一个竖线;如果预测的产品不符合实际,画一个横线;如果预测产品还没有被打分,那么抛弃这个产品,并不影响曲线 ROC曲线下的面积与起点和终点构成的长方形的面积之比可以评价系统的辨别好坏产品的能力,这一比例称之为Swet′A指标 Swet′A指标的优点是可以用一个数值表征系统的表现,并且不受推荐列表长度的限制。 缺点是: 1)需要 分析每个用户潜在感兴趣的产品; 2)只考虑面积 排序准确度 排序准确度用于度量推荐算法产生的列表符合用户对产品排序的程度 周涛等提出用平均排序分(averagerankingscore)度量推荐系统的排序准确度 N为训练集中用户未选择的产品个数, Li 为预测集中待预测产品i在推荐列表中的位置 用户喜欢的所有