ir-lab胡晓光.pptVIP

Lucene检索模型 IR-LAB 胡晓光 检索模型 检索模型是一个四元组[D, Q, F, R(qi, dj)] D: 文档集的机内表示 Q: 用户需求的机内表示 F: 文档表示、查询表示和它们之间的关系的模型框架(Frame) R(qi, dj): 给query qi 和document dj评分 空间向量模型 把索引中的每个词作为空间的一个维度 把每一篇文档作为空间中的一个向量 把每一个查询也作为空间中的一个向量 通过计算文档和查询的内积或余弦等来表示文档和查询的相关程度 余弦相似度计算 词项的权重 根据词项在文档( tf)和文档集( idf)中的频率(frequency)计算词项的权重 tf(i , j) = 词项j在文档i中的频率 df( j ) = 词项j的文档频率= 包含词项j的文档数量 idf( j ) = 词项j的反文档频率= log2( N/ dfj) 词项的权重 文档中词项的权重 w i,j= tf i,j * idf i 其中tf i,j可以先归一化处理 tfi,j = tfi,j / maxk tf k,j 查询中词项的权重 Salton and Buckley推荐公式 wi,q = (0.5 + 0.5*tfi,q/maxk tfk,q) * idfi TermQuery TermQuery为Lucene支持的最简单的查询方式 Query为一个关键词Term TermQuery的计算公式 score = sqrt(freq) * idf * boost * norm idf = ln(maxDoc/(docFreq + 1) )+ 1.0 norm = fieldboost / sqrt(fieldlength) 结论 其中的idf和boost值与文档无关 不影响排名 排名因子 sqrt(freq) * fieldboost / sqrt(fieldlength) fieldboost人为赋予的经验值 默认值都为1.0 此时lucene按照单位长度的文档包含的关键词个数freq/fieldlength来排列相关文档 BooleanQuery BooleanQuery是一种复合式的Query 支持多种不同Query的逻辑组合 BooleanQuery例子 ＋俄罗斯 恐怖 事件 －美国 ＋（俄罗斯 美国) 恐怖 事件 可以对不同的query赋予不同的boost值表示该query在整个BooleanQuery中的重要程度 例如: 俄罗斯3.0 恐怖2.0 事件1.0 BooleanQuery分值计算 计算查询的querynorm querynorm = boost / sqrt(∑i idfi*idfi*boosti*boosti) 计算每个查询的Term和匹配文档的分值 weight = queryWeight * fieldWeight; queryWeight = boost * idf * querynorm; fieldWeight = tf * idf * fieldnorm; 对每篇匹配文档计算总得分 score = coord * (∑i weight i ) coord = 匹配词项数/总词项数 BooleanQuery计算公式 整理可得计算公式如下 scorej = coordj*∑i(boost i*idf i*tfi,j*idf i*fieldnorm) / sqrt(∑i (idf i *idf i *boost i *boost i)) fieldnorm = fieldboost / sqrt(fieldlength) 其中sqrt(∑i (idf i *idf i *boost i *boost i))和文档无关，不会影响文档的排名 Lucene检索模型 标准向量空间模型 一种简化的空间向量模型 文档中词项的权重 w i,j = tfi,j*idf i 查询中词项的权重 wi,q = boost q*idf q 文档向量模∣ dj∣≈sqrt(fieldlength) 逻辑操作对分值计算的影响 Lucene支持的逻辑操作例子 ＋俄罗斯 恐怖 事件 －美国 ＋（俄罗斯 美国) 恐怖 事件 对于强制符号+ 和－会首先对匹配结果进行过滤去除不符合条件的文档 然后对剩下的文档根据和每个关键词的相关程度计算得分 Lucene检索实例 有三篇文本 内容如下 aaa.txt: You are a student. He is a student. bbb.txt: I am a student. ccc.txt: Lee is a student.He comes from China. 按照缺省方式建索引 fieldbo