2+文本、检索模型和基于内容的图像检索要点详解.ppt

NMF 低秩分解 * * plsa是一种topic model，它属于生成模型，给定文档d后，以一定的概率选择d对应的主题z，然后以一定概率选择z中的词语w. PLSA的通俗理解： 想象某个人要写N篇文档，他需要确定每篇文档里每个位置上的词。假定他一共有K个可选的主题，有V个可选的词项，所以，他制作了K个V面的 “主题-词项” 骰子，每个骰子对应一个主题，骰子每一面对应要选择的词项。然后，每写一篇文档会再制作一颗K面的 ”文档-主题“ 骰子；每写一个词，先扔该骰子选择主题；得到主题的结果后，使用和主题结果对应的那颗”主题-词项“骰子，扔该骰子选择要写的词。他不停的重复如上两个扔骰子步骤，最终完成了这篇文档。重复该方法N次，则写完所有的文档。在这个过程中，我们并未关注词和词之间的出现顺序，所以pLSA也是一种词袋方法；并且我们使用两层概率分布对整个样本空间建模，所以pLSA也是一种混合模型。 * 与pLSA的不同？？ * * * 信息检索模型是指如何对查询和文档进行表示，然后对它们进行相似度计算的框架和方法 本质上是对相关度建模 * 三类 基于内容的信息检索模型 结构化模型 浏览型数学模型 基于内容的信息检索模型有 集合论模型 布尔模型、模糊集合模型、扩展布尔模型 代数模型 向量空间模型、广义向量空间模型、潜在语义标引模型、神经网络模型 概率模型 经典概率论模型、推理网络模型、置信（信念）网络模型 非覆盖列表(non-overlapping lists)模型和近似结点(proximal nodes)模型 * * 文档是文献在系统中的存储形式，主要由词构成。词包括关键词或标引词 查询反映了用户表达的信息需求 匹配函数把经过处理的文献表示和查询表示同时放在系统中进行匹配，通过设置不同的匹配函数得到不同的输出结果 然而，搜索引擎建设所有的词都是索引term（全文本表达） * * 布尔模型的优点 布尔模型为普通用户提供了一个容易掌握的框架。在模型中，查询被描述为具有精确语义的布尔表达式，其特点简单而整齐，为现代许多商业系统所用 只能严格匹配(得分不是0就是1)，不能近似或者部分匹配，多个结果无法排序 ??一般用户构造查询不是很容易，构造不利可能造成结果过多或者过少 由康奈尔大学Salton等人在上世纪70年代末提出并倡导的，原型系统为SMART* * * 由于信息检索中文本信息相关判断的不确定性和信息表示的模糊性 * N-gram * * 布尔代数 在集合上的运算 例如文档集合 有四种运算操作 (就像在代数运算上一样): A: 取回集合A 我想要包含term library的文档 A AND B: 取回集合A 和 B 交集运算用 A ? B表示 取回同时包含library and digital 的文档 A OR B取回集合A 或者 B 并集运算用 A ? B表示 我想要至少包含library 和 digital 之一文档 A NOT B: 取回集合A 但不包含集合 B 否运算 用A – B表示 取回library但不包含 digital 的文档 使用Boolean 模型的检索系统 * 布尔模型——优缺点 布尔模型的优点 简单而整齐，为现代许多商业系统所用 自我保护功能，降低用户对搜索系统的期望，使自己不在责任方，检索结果不好的原因在于用户构造查询不好 布尔模型的缺点 检索是基于二值运算确定的，没有部分匹配的概念 检索回的文档之间没有排序 检索词必须被翻译成布尔表达式，这让很多用户感觉到不方便 由用户形式化的布尔检索词大多数情况下太简单了 因此，用布尔模型检索回的结果不是太多就是太少 布尔模型目前仍然是商业文档数据库的主流模型，并为一些新的领域提供了一个好的起点 基于向量的模型 用二值的权重太受限制 向量模型通过分派非二值权重给查询和文档中的索引项来实现检索目标 这些权重用于计算系统中的每个文档与用户的查询请求的相似程度，向量模型通过对文档按照相似程度降序排列的方式，来实现文档与查询项的部分匹配 文档排列有序可使检索词与文档之间的匹配更好，返回的结果更合理 基于向量的模型 若干独立的词被选作索引项（terms） 索引项代表了一个应用中的重要词项 例如计算机科学图书馆中的索引项应该是哪些？ 基于向量的模型 Define: wij 0 当ki ? dj时 wiq = 0 与(ki,q)关联 vec(dj) = (w1j, w2j, ..., wtj) vec(q) = (w1q, w2q, ..., wtq) 这些terms之间是不相关的，他们形成了一个向量空间（vector space） 基于向量的模型 实际上，这些词项之间是相互关联的 当你在一个文档中看到“计算机”