信息检索11-语言模型.pptVIP

第12讲 基于语言建模的IR模型 Language Models for IR 2017/10/17 提纲 上一讲回顾 语言模型 基于统计建模的IR模型 SLMIR模型讨论 提纲 上一讲回顾 语言模型 基于统计建模的IR模型 SLMIR模型讨论 概率检索模型 概率检索模型是通过概率的方法将查询和文档联系起来 定义3个随机变量R、Q、D：相关度R={0,1}，查询Q={q1,q2,…}，文档D={d1,d2,…}，则可以通过计算条件概率P(R=1|Q=q,D=d)来度量文档和查询的相关度。 概率模型包括一系列模型，如Logistic Regression(回归)模型及最经典的二值独立概率模型BIM、BM25模型等等(还有贝叶斯网络模型)。 1998出现的基于统计语言建模的信息检索模型本质上也是概率模型的一种。 4 概率排序原理(PRP) 简单地说：如果文档按照与查询的相关概率大小返回，那么该返回结果是所有可能获得结果中效果最好的。 严格地说：如果文档按照与查询的相关概率大小返回，而这些相关概率又能够基于已知数据进行尽可能精确的估计，那么该返回结果是所有基于已知数据获得的可能的结果中效果最好的。 5 几种概率检索模型 基于Logistic回归的检索模型 经典的二值独立概率模型BIM 经典的BM25模型 (BestMatch25) 6 Logistic 回归IR模型 7 基本思想：为了求Q和D相关的概率P(R=1|Q,D)，通过定义多个特征函数fi(Q,D)，认为P(R=1|Q,D)是这些函数的组合。 Cooper等人提出一种做法*：定义log(P/(1-P))为多个特征函数的线性组合。则P是一个Logistic函数，即： *William S. Cooper , Fredric C. Gey , Daniel P. Dabney, Probabilistic retrieval based on staged logistic regression, Proceedings of ACM SIGIR92, p.198-210, June 21-24, 1992, Copenhagen, Denmark BIM模型(续) 8 对每个Q定义排序(Ranking)函数RSV(Q,D)： 其中，P(D|R=1)、P(D|R=0)分别表示在相关和不相关情况下生成D的概率。Ranking函数显然是随着P(R=1|D)的增长而增长。 两种常用的文档生成的总体分布 多元贝努利分布(Multi-variate Bernoulli distribution) 词项词典大小为M，M个不规则硬币分别对应M个词项，第i个硬币朝上的概率为pi 假设M=4(四个词项分别为 I you can fly)，p1=0.7, p2=0.4, p3=0.1, p4=0.05 则： P(I can fly fly)=0.7*(1-0.4)*0.1*0.05 多元贝努利分布不考虑出现位置 多元贝努利分布考虑出现和不出现 9 两种常用的文档生成的总体分布(续) 多项式分布(Multinomial distribution) 词项大小为M，某个不规则骰子共有M个面，每个面对应一个词项(假设每次抛掷必有某个面稳定朝上或下)，第i个面朝上的概率为pi 假定M=4 (四个词项分别为 I you can fly)，p1=0.4, p2=0.3, p3=0.2, p4=0.1 则：P(I can fly fly)=P(X1=1,X2=0,X3=1, X4=2) =C*0.4*0.2*0.1*0.1 其中C= =12 多项式分布考虑词项的多次出现 多项式分布不考虑词项的不出现 多项式分布同样不考虑词项的出现位置和次序 10 BIM模型(续) 11 将D看成 ，于是 注：P(ti|R=1)表示在相关情况下，ti出现在文档中的概率(也就是说某个、或者某几个P(ti|R=1)可以为1)，注意：不是在相关文档集合中出现的概率，因此所有P(ti|R=1)的总和不为1。这个可以和前面抛硬币的过程对照一下就明白了。 pi qi参数的计算 ri (35) ni- ri (165) Ri-ri (65) N-Ri-ni+ri (235) 12 相关 Ri (100) 不相关 N-Ri (400) 包含ti ni (200) 不包含ti N-ni (300) 引入平滑因子 其中，N、ni分别是总文档以及包含ti的文档数目。Ri、ri分别是相关文档及相关文档中包含ti的文档数目。括号中列举的数值是给出的一个总文档数目为500的计算例子。则：