[理学]lecture9-queryexpansion 信息检索导论 王斌 PPT 课件 第9章.ppt

第9讲 相关反馈及查询扩展 Relevance Feedback Query Expansion 1 2011/10/11 提纲 2 上一讲回顾 动机 相关反馈基础 相关反馈详细介绍 查询扩展 提纲 3 上一讲回顾 动机 相关反馈基础 相关反馈详细介绍 查询扩展 上一讲回顾 信息检索的评价方法 不考虑序的评价方法(即基于集合)：P、R、F 考虑序的评价方法：P/R曲线、MAP、NDCG 信息检索评测语料及会议 检索结果的摘要 4 5 正确率(Precision)和召回率(Recall) 正确率(Precision ，简写为P) 是返回文档中真正相关的比率 召回率(Recall,R) 是返回结果中的相关文档占所有相关文档(包含返回的相关文档和未返回的相关文档)的比率 5 6 正确率 vs. 召回率 P = TP / ( TP + FP ) R = TP / ( TP + FN ) 6 7 F 允许正确率和召回率的折中 where α ϵ [0, 1] ， b 2 ϵ [0,∞] 常用参数: balanced F ， b = 1 or α = 0.5 实际上是正确率和召回率的调和平均数（harmonic mean） 7 正确率和召回率相结合的指标：F值 8 正确率-召回率曲线 每个点对应top k上的结果 (k = 1, 2, 3, 4, . . .). 插值 (红色): 将来所有点上的最高结果 插值的原理：如果正确率和召回率都升高，那么用户可能愿意浏览更多的结果 8 9 平均的 11-点正确率/召回率曲线 计算每个召回率点(0.0, 0.1, 0.2, . . .)上的插值正确率 对每个查询都计算一遍 在查询上求平均 该曲线也是ＴＲＥＣ评测上常用的指标之一 9 MAP 平均正确率(Average Precision, AP)：对不同召回率点上的正确率进行平均 未插值的AP: 某个查询Q共有6个相关结果，某系统排序返回了5篇相关文档，其位置分别是第1，第2，第5，第10，第20位，则AP=(1/1+2/2+3/5+4/10+5/20+0)/6 多个查询的AP的平均值称为系统的MAP(Mean AP) MAP是IR领域使用最广泛的指标之一 10 11 NDCG BV(Best Vector)：假定m个3，l个2，k个1，其他都是0 12 NDCG Normalized (D)CG 另一种NDCG的计算方法 加大相关度本身的权重，原来是线性变化，现在是指数变化，相关度3、2、1 在计算时用23、22、21 据说搜索引擎公司常用这个公式 13 14 标准的评价会议: TREC TREC = Text Retrieval Conference (TREC) 美国标准技术研究所 (NIST)组织 TREC实际上包含了对多个任务的评测 最出名的任务: TREC Ad Hoc任务，1992到1999年前8届会议中的标准任务 TREC disk包含189百万篇文档，主要是新闻报道，有 450个信息需求 由于人工标注的代价太大，所有没有完整的相关性判定 然而，NIST采用了一种所谓结果缓冲(pooling)的办法来进行人工标注，首先将所有参测系统的前k个结果放到一个缓冲池(pool)，然后仅对缓冲池的文档进行标注，并认为所有的相关文档均来自该缓冲池中。 14 15 动态摘要 给出一个或者多个 “窗口”内的结果(snippet) ，这些窗口包含了查询词项的多次出现 出现查询短语的snippet优先 在一个小窗口内出现查询词项的snippet优先 最终将所有snippet都显示出来作为摘要 15 16 一个动态摘要的例子 查询: “new guinea economic development” Snippets (加黑标识) that were extracted from a document: . . . In recent years, Papua New Guinea has faced severe economic difficulties and economic growth has slowed, partly as a result of wea