第12讲 基于语言建模的IR模型Language Models for IR 20111107教学文案.pptxVIP

2011/11/07第12讲 基于语言建模的IR模型Language Models for IR提纲 上一讲回顾 语言模型 基于统计建模的IR模型 SLMIR模型讨论提纲 上一讲回顾 语言模型 基于统计建模的IR模型 SLMIR模型讨论概率检索模型概率检索模型是通过概率的方法将查询和文档联系起来定义3个随机变量R、Q、D：相关度R={0,1}，查询Q={q1,q2,…}，文档D={d1,d2,…}，则可以通过计算条件概率P(R=1|Q=q,D=d)来度量文档和查询的相关度。概率模型包括一系列模型，如Logistic Regression(回归)模型及最经典的二值独立概率模型BIM、BM25模型等等(还有贝叶斯网络模型)。1998出现的基于统计语言建模的信息检索模型本质上也是概率模型的一种。几种概率检索模型基于Logistic回归的检索模型经典的二值独立概率模型BIM经典的BM25模型 (BestMatch25)Logistic 回归IR模型基本思想：为了求Q和D相关的概率P(R=1|Q,D)，通过定义多个特征函数fi(Q,D)，认为P(R=1|Q,D)是这些函数的组合。Cooper等人提出一种做法*：定义log(P/(1-P))为多个特征函数的线性组合。则P是一个Logistic函数，即：*William S. Cooper , Fredric C. Gey , Daniel