没有科学的管理.pptVIP

颜政 colour23@ 2010-11-16 没有科学的评价，就没有科学的管理； 没有科学的管理，就没有科学的发展。 ——邱均平 评估某个系统的性能、某种产品的质量、某项技术的价值，或者是某项政策的效果等等； 对象：可针对事、物；也可针对人、组织 信息检索评价 对信息检索系统的性能（主要是其满足用户信息需求的能力）进行评估的活动，推动其发展。 基于可用性评价 相关性不是二值评价，而是一个连续的量 即使进行二值评价，很多时候也很难 从人的立场上看，相关性是： 主观的，依赖于特定用户的判断 情景相关的，依赖于用户的需求 认知的，依赖于人的认知和行为能力 时变的，随着时间而变化 一个文档集合C。系统将从该集合中按照用户查询检出相关文档 一组用户查询{q1, q2, …, qn}。每个用户查询qi描述了用户的信息需求 对应每个用户查询的标准相关文档集{R1, R2,…, Rn}。该集合可由人工方式构造 一组评价指标。这些指标反映系统的检索性能。通过比较系统实际检出的结果文档集和标准的相关文档集，对它们的相似性进行量化，得到这些指标值 召回率（查全率） 准确率 F值 平均准确率 R-Precision P@10 召回率 =? 系统检索到的相关文件 / 系统所有相关的文件总数 准确率 = 系统检索到的相关文件 / 系统所有检索到文件总数 F值：平衡地反映召回率与准确率。 由于信息检索系统返回的是一个排序的文档集合，因此召回率与准确率是互逆的。设定不同的相关性得分门限就能够得到相应的准确率与 召回率。如果我们在以准确率为Y轴，召回率为X轴的图上画出不同门限下的准确率与召回率，一般它会程下面的形状： 一般采用11点标准召回率下的准确率曲线，即计算召回率分别是0%, 10%, 20%, …, 100%（共11点）下的准确率，再绘制准确率/召回率曲线。 平均准确率(mean Average Precision,mAP): mAP是为解决P，R，F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标，可以看考察下图，其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线。（总体性好，但不够直观） 平均准确率mAP：定义如下:(其中P，R分别为准确率与召回率) 一般在做评价时取得的准确率与召回率都是离散值，因此一般在计算时都采用求和而非积分。系统检索出来的相关文档位置越靠前，MAP就可能越高 单个主题的R-Precision 是检索出R 篇文档时的准确率。其中R 是测试集中与主题相关的文档的数目。主题集合的R-Precision 是每个主题的R-Precision 的平均值。 P@10:P@10 是系统对于该主题返回的前10个结果的准确率。考虑到用户在查看搜索引擎结果时，往往希望在第一个页面（通常为10 个结果）就找到自己所需的信息，因此设置了这样一个拟人化的指标，P@10 常常能比较有效地反映系统在真实应用环境下所表现的性能。 P@10 与搜索引擎： TREC评测 NTCIR评测 CLEF评测 863评测