第3章信息检索的评价.pptVIP

P-R曲线 * P-R 曲线的插值问题 * P-R的优缺点 优点： 简单直观 既考虑了检索结果的覆盖度，又考虑了检索结果的排序情况 缺点： 单个查询的P-R曲线虽然直观，但是难以明 确表示两个查询的检索结果的优劣 * 评价指标(6)—P-R曲线的单一指标 * P-R曲线中的BREAK POINT * 评价指标(7)－引入序的作用 * 评价指标(8)－不考虑召回率 * 评价指标分类 对单个查询进行评估的指标 对单个查询得到一个结果 对多个查询进行评估的指标(通常用于对系统的评价) 求平均 * 评价指标(9) * 评价指标(10) * 整个IR系统的P-R曲线 在每个召回率点上，对所有的查询在此点上的正确率进行算术平均，得到系统在该点上的平均正确率(averageprecision)。 两个检索系统可以通过P-R曲线进行比较。位置在上面的曲线代表的系统性能占优。 * 几个IR系统的P-R曲线比较 * 面向用户的评价指标 前面的指标都没有考虑用户因素。而相关不相关由用户判定。 假定用户已知的相关文档集合为U，检索结果和U的交集为Ru，则可以定义覆盖率(Coverage) C=|Ru|/|U|，表示系统找到的用户已知的相关文档比例。 假定检索结果中返回一些用户以前未知的相关文档Rk，则可以定义出新率(Novelty Ratio) N=|Rk|/(|Ru|+|Rk|)，表示系统返回的新