《5-查询处理QueryOperations.pptVIP

5. 查询操作Query Operations 相关性反馈Relevance Feedback 查询扩展Query Expansion 查询操作：改进最初的查询表达方式 基于从用户处得到的相关性反馈 查询扩展 基于对初次查询结果文档集的分析（亦称为本地文档集分析） 基于对文档集的全局信息分析 相关性反馈 相关性反馈 = 用户在最初获得的检索结果上进行反馈 主要思想是改变查询使得更为靠近相关文档的向量空间 用户会标定返回的文档相关或不相关 系统根据用户的标定通过计算获得用户信息需求的一个更好的表达，改变用户的初始查询 相关性反馈可以一次或多次迭代进行 例子：Initial Query Results for Initial Query Relevance Feedback Results after Relevance Feedback 在向量空间模型下的相关性反馈 符号定义 Dr ：用户从所有检出文档中识别出来的相关文档的集合 Dn ：所有N个检出文档中不相关文档的集合 Cr ：在文档集中所有相关文档的集合 |Dr|=R, |Dn|=N-R, |Cr|：表示各类文档的数量 Rocchio 算法 Rocchio 算法是在向量模型的框架下使用相关性反馈的信息 用来区分相关的和不相关的文档的最优的查询向量表示如下： 以上公式并不现实：我们并不知道所有的相关文档Cr Rocchio算法 实际中使用的是： Typical weights: alpha = 8, beta = 64, gamma = 64 alpha vs beta/gamma的折中处理：如果有大量被用户判断过的文档，我们就可以取高一些 beta/gamma 但通常我们并没有这样的用户数据 在概率模型框架下的相关性反馈 初始搜索：P(ki|R)=0.5, P(ki|﹁R)=ni/N 首先假设不存在相关文档, i.e., |Dr|=0 Dr 为检出的用户判定为相关的文档, Dr,i 是 Dr 中包含关键词 ki 的文档 P(ki|R)=|Dr,i|/|Dr|; P(ki|﹁R)=(ni-|Dr,i|)/(N-|Dr|) 在概率模型框架下的相关性反馈 |Dr|和|Dr,i|的值经常偏小，如|Dr|=1, |Dr,i|=0,为此，在估算P(ki|R)和P(ki|﹁R)的值时，经常增加一个 0.5 的调整因子： P(ki|R)=(|Dr,i|+0.5)/(|Dr|+1) P(ki|﹁R)=((ni-|Dr,i|)+0.5)/(N-|Dr|+1) 有时0.5的调整因子也不满意，则可采用ni/N ： P(ki|R)=(|Dr,i|+ni/N)/(|Dr|+1) P(ki|﹁R)=((ni-|Dr,i|)+ ni/N)/(N-|Dr|+1) 概率模型框架下的一种相关性反馈变体 第一次查询类似tf-idf计算相关度，下式中的C、K可调整 反馈查询时，概率模型计算相关度 正反馈和负反馈 正向反馈通常比负反馈更有价值 许多系统在设计的时候只允许正向反馈 相关性反馈： 前提假设 A1：用户对于初始查询有足够的知识 A2：相关性反馈的原型具有一致性 要么所有相关文档都和某原型一致 要么存在不同的原型，但这些原型在词汇表上大量重叠 A1往往不能满足 用户在初次输入查询时并没有足够的知识，导致查询词不恰当，反馈也不准确等 例如: 误拼写 (Brittany Speers/Britney Spears) 跨语言查询 搜索者的词汇和文档库中的词汇不一致 A2往往不能满足 一个概念可能有多种原型 例子: Burma/Myanmar(缅甸) 相关性反馈：代价 对于一般的信息检索系统来说（例如倒排表索引系统），长的查询相对来说效率较低 对于用户来说长的响应时间 Pseudo Feedback伪反馈 伪反馈的主要思想是不需要人的参与，用机器自动来进行相关性反馈 用户输入查询后返回一系列初始文档 假设排名最靠前的那些文档是相关文档 Pseudo Feedback伪反馈 Pseudo Feedback伪反馈 伪反馈是否能够取得较好效果取决于相关性假设是否成立 如果查询输入合理而且相关性文档原型一致，伪反馈能够较大地提高精确度和回召率 如果不是，结果可能会越来越坏(concept drift) 例子：歧义的查询文字 (“jaguar”美洲虎?汽车?战斗机名?) 根据查询的不同，伪反馈系统可能使得查询结果特别好或特别坏 相关性反馈小结 查询扩展 在相关性反馈中，用户指定文档相关或不相关 在查询扩展中，用户选出词或短语是否添加进原始查询中 为什么要进行查询扩展？ 用户有明确的查询目的，但是用户不知道如何构造好的查询，因此，初始查询往往不能很好地表达其查询需求 用户没