信息检索与数据挖掘2019471.PDFVIP

信息检索与数据挖掘 2019/4/7 1 信息检索与数据挖掘 第9章 基于语言建模的检索模型 信息检索与数据挖掘 2019/4/7 2 课程内容 • 第„ 1章 绪论 • 第2章布尔检索及倒排索引 • 第3章词项词典和倒排记录表 • 第4章索引构建和索引压缩 • 第5章向量模型及检索系统 • 第6章检索的评价 • 第7章相关反馈和查询扩展 • 第8章概率模型 • 第9章基于语言建模的检索模型 • 第10章文本分类 • 第11章文本聚类 • 第12章Web搜索 • 第13章多媒体信息检索 • 第14章其他应用简介 信息检索与数据挖掘 2019/4/7 3 本讲内容：基于语言建模的检索模型 •语言模型 • 什么是概率语言模型？如何比较两个模型？ • 怎样由文档生成语言模型？ • 语言模型的种类 •语言模型如何应用到IR 中？ • 查询似然模型(Query Likelihood Model) • 平滑的方法：线性插值LM • 扩展的LM 方法 信息检索与数据挖掘 2019/4/7 4 最简单的语言生成模型 generative model 一个简单的有穷自动机及其生成语言中的一些字符串。 → 指向的是自动机的初始状态，而双圈节点对应的是 （可能的）终止状态 I wish I wish I wish I wish I wish I wish I wish I wish I wish I wish I wish … *wish I wish 如果上述自动机是带有概率的， 则是概率语言模型(probabilistic LM) 也称统计语言模型(Statistical Language Modeling，SLM) 信息检索与数据挖掘 2019/4/7 5 有穷自动机语言模型 • 一个语言模型（language model ）是从某词汇表上抽取的字 符串到概率的一个映射函数。也就是说，对于字母表Σ上的 语言模型M有 • 最简单的语言模型仅包含一个节点，只有一个生成不同词 项的概率分布，因此有 Model M the man likes the woman 0.2 the 0.1 a 0.2 0.01 0.02 0.2 0.01 0.01 man 0.01 woman 0.03 said multiply 0.02 likes 一个具体的字符串或文 … 档的概率往往非常小 P(s | M) = 0