下载pdf讲义搜索引擎技术介绍讲述.pdfVIP

Topics 概述 信息检索模型 搜索引擎技术介绍 信息检索系统的评价标准 Web搜索引擎的难点 Web搜索引擎体系结构 Web Crawler 王栋 预处理 索引和查找 检索结果排序 概述 搜索引擎属于信息检索(Information Retrieval，IR)范畴 信息检索的基本任务 如何找到并定位特定资源？ 这些资源可能来自 Web 数据库 文件系统 …. 如果目标资源是Web ，就称为Web搜索引擎 Google，百度，Yahoo ！ 信息检索模型(1/3) 信息检索模型(1/2) 信息检索模型（IR model）可形式化地表示为一个四元 信息检索的一个核心问题是如何决定查询和文档之间的相 组： 关度，即信息检索模型中的排序函数R(q,d)。 D, Q, F, R(q, d) 常用的相关度评价方法是向量空间模型(Vector Space 其中D是一个文档集合，Q是一个查询集合，F是一个对文 Model，VSM) 档和查询建模的框架，R(q, d) 是一个排序函数，它给查 向量空间模型基于共有词汇假设（shared bag of 询q和文档d之间的相关度赋予一个排序值，即相关度评 words ），即查询和文档都被认为是有所有关键词组成的 价。 N维向量，相关度根据他们在向量空间中的夹角的cosine 常见的信息检索模型有： 值表示，即 布尔模型（Boolean Model） R(d, q) = cos(d, q) = d·q / |d| ×|q| 向量空间模型（Vector Space Model ） 那么如何决定N维向量每一维的权重，即N维向量中每个 概率模型（Probabilistic Model） 关键词的权重呢？？ 推理网络模型（Inference Network Model） 1 信息检索模型(2/2) 原理 根据信息论原理，信息单位出现的频率越大，携带的信息越小。这就是说出 根据TF*IDF公式，文档集中包含某一词条 现频度很高的词对于文档区分的作用很小，比如汉语中的“的”，英语中的 “the” 。 基于这一