信息检索11-语言模型.pptVIP

* 基于统计建模的IR模型: 假设 简化假设：查询和文档是同一类对象，与实际并不相符! 已经出现了一些不采用上述假设的SLMIR模型 VSM也基于同一假设 简化假设：词项之间是独立的 同样，VSM中也采用了词项独立性假设 比向量空间中的假设表述更清晰 因此，比VSM具有更好的理论基础 … 但是纯语言模型的效果会大大低于经过精心调参的向量模型的效果。 第六十三页，编辑于星期二：九点 三十五分。 * 参考资料 《信息检索导论》第12章 Ponte and Croft’s 1998 SIGIR paper (one of the first on LMs in IR) Lemur toolkit (能够很好地支持语言模型) ChengXiang Zhai. Statistical Language Models For Information Retrieval, 一本综述书籍 第六十四页，编辑于星期二：九点 三十五分。 课后练习 待定 第六十五页，编辑于星期二：九点 三十五分。 * * * * * * * * * * * * * * * * * * * * * * 也可以基于词或者其它粒度 * * * * * * * * * * * * * * 一个L面骰子，扔n次，L个面分别出现x1、x2、…、xL次的概率。即 x1+x2+…+xL=n * * * * * * * * *