20111201信息检索评价方法.pptxVIP

信息检索评价方法报告人：华松IR中评价什么？效率时间空间效果相关文档的多少其他指标访问量数据更新速度……基本符号说明假设检索词query：R：语料中与query相关的文档集合A：系统给出的检索结果Ra：R与A的交集，即系统给出的相关文档集合P值P值：即精确度（Precision）计算公式：P@n值：检索结果集合前n个文档的P值R-precision值：检索出R篇相关文档时的P值R值R值：召回率（Recall）计算公式：例查询Q，本应有100篇相关文档，系统检索出200篇文档，其中有80篇是真正相关的文档Precision=80/200=0.4Recall=80/100=0.8召回率较高，但精确度越低P、R值融合两个指标分别衡量了系统的某个方面，但是难以用于比较融合P R值的评价指标调和平均值P、R值融合E指标P-R曲线P-R曲线在不同的R值时的P值的曲线上面的曲线对于的系统结果更好P-R曲线示例1P-R曲线示例1(续)P-R曲线示例2多系统的P-R曲线比较P-R曲线的优缺点优点简单直观整合了P值和R值缺点难以明确表示两个查询（或者说系统）的检索结果的优劣P-R曲线的单一指标Break Point：曲线上P=R的点11点平均精确率(11 point average precision)：召回率在0，0.1，…1.0的是一个点上的P值求平均MAP值MAP值：单个query的AP值每篇相