概率检索模型BM25系列-文档相关性检索的利器.docxVIP

概率检索模型BM25系列-文档相关性检索的利器给定一个用户需求(query),如果搜索系统展示的搜索结果是根据文档和query的相关性由高向低排序的，那么这个搜索引擎是最优的。在文档集合的基础上计算其相关性估计是其核心~概率排序原理以往的?向量空间模型?是将?query?和文档使用向量表示然后计算其内容相似性来进行相关性估计的，而?概率检索模型?是一种直接对用户需求进行相关性的建模方法,一个?query?进来，将所有的文档分为两类—-?相关文档?、?不相关文档?,这样就转为了一个相关性的分类问题,赞!对于某个文档DD来说，P(R|D)P(R|D)表示该文档数据相关文档的概率，则P(NR|D)P(NR|D)表示该文档属于不相关文档的概率，如果?query?属于相关文档的概率大于不相关文档P(R|D)P(RN|D)P(R|D)P(RN|D)，则认为这个文档是与用户查询相关相关的.现在使用贝叶斯公式将其转一下:P(R|D)P(NR|D)=P(D|R)P(R)P(D)P(D|NR)P(NR)P(D)=P(D|R)P(D|NR)P(NR)P(R)P(R|D)P(NR|D)=P(D|R)P(R)P(D)P(D|NR)P(NR)P(D)=P(D|R)P(D|NR)P(NR)P(R)在搜索排序过程中不需要真正的分类，只需要保证相关性由高到底排序即可，所以只需要P(D|R)P(D|NR)P(D|R)P(D|NR)降序即可，这样就最终转为计算P(D|R)P(D|R),P(D|NR)P(D|NR)的值即可.二元独立模型(BIM)词汇独立性假设:文档里面出现的词没有任何关联，这样一个文档的出现就可以转为各个单词出现概率的乘积（虽然这种假设有违实际，但是算起来简单的啊^_^）上述提到的文档DD表示为?{1,0,1,0,1}?，用pipi来表示第ii个单词在相关文档出现的概率,则在已知?相关文档?集合的情况下，观察到DD的概率为:P(D|R)=p1×(1?p2)×p3×(1?p4)×p5P(D|R)=p1×(1?p2)×p3×(1?p4)×p5第?1,3,5?表示这个单词在DD中出现,所以其贡献概率为pipi，而第?2,4?这两个单词并没有在DD中出现，所以其贡献的概率为1?pi1?pi同理在?不相关文档?中观察到的概率为:P(D|R)=s1×(1?s2)×s3×(1?s4)×s5P(D|R)=s1×(1?s2)×s3×(1?s4)×s5最终得到的相关性概率估算为:P(D|R)P(D|NR)=p1×(1?p2)×p3×(1?p4)×p5s1×(1?s2)×s3×(1?s4)×s5P(D|R)P(D|NR)=p1×(1?p2)×p3×(1?p4)×p5s1×(1?s2)×s3×(1?s4)×s5现在将其推广之后可以有通用的式子：P(D|R)P(D|NR)=∏i:di=1pisi×∏i:di=01?pi1?siP(D|R)P(D|NR)=∏i:di=1pisi×∏i:di=01?pi1?sidi=1di=1表示在文档中出现的单词，di=0di=0表示没在文档中出现的单词:在这里进一步对上述公式进行等价变换之后有:$$\begin{equation}\begin{split} \frac{P(D|R)}{P(D|NR)} =\prod_{i:d_i=1} \frac{p_i}{s_i} \times \left ( \prod_{i:d_i=1} \frac{1-s_i}{1-p_i} \times \prod_{i:d_i=1} \frac{1-p_i}{1-s_i} \right ) \times \prod_{i:d_i=0} \frac{1-p_i}{1-s_i}\\= \left ( \prod_{i:d_i=1} \frac{p_i}{s_i} \times \prod_{i:d_i=1} \frac{1-s_i}{1-p_i} \right ) \times \left ( \prod_{i:d_i=1} \frac{1-p_i}{1-s_i} \times \prod_{i:d_i=0} \frac{1-p_i}{1-s_i} \right ) \\=\prod_{i:d_i=1} \frac{p_i(1-s_i)}{s_i(1-p_i)} \times \prod_i \frac{1-pi}{1-s_i} \\=\prod_{i:d_i=1} \frac{p_i(1-s_i)}{s_i(1-p_i)}\end{split}\end{equation}$$其中上面式子第三步的第二部分∏i1?pi1?si∏i1?pi1?si表示各个单词在所有文档中出现的概率，所以这个式子的值和具体文档并没有什么关系，在排序中不起作用，才可以简化到第4步.为了方便