文本索引及搜索.pdfVIP

第五章:文本索引和搜索 任飞亮 东北大学自然语言处理实验室 2010 大纲  索引和搜索的概念  倒排文件索引  后缀数组索引  签名文件索引  文本搜索技术 大纲  索引和搜索的概念  倒排文件索引  后缀数组索引  签名文件索引  文本搜索技术 应用索引的例子  检索的目的是为了在一大堆的信息中发 现自己感兴趣的信息;  但是,当有了一大堆资料之后,并不能立即 开始搜索.  为什么? 图书馆实例 在检索前必须建立索引! 索引的定义  所谓建立索引,是指将待搜索的信息进行一 定的分析,并将分析的结果按照一定的组织 方式存储起来,通常是存储在文件中.  存储了分析结果的文件的集合就是所谓的 索引.  准确定义:索引 （Index）是一种数据结构， 其将关键词与包含该关键词的文档（或关 键词在文档中的位置）建立了一种映射关 系，以加快检索的速度。 文本搜索的概念  不使用任何索引技术，而快速的在给定 文本或文本集合中查找是否出现某一关 键词，这种技术通常被称为单模式匹配  应用领域  信息过滤、检索结果后处理等  常用算法  BF  KMP  BM 大纲  索引和搜索的概念  倒排文件索引  后缀数组索引  签名文件索引  文本搜索技术 倒排索引主要内容  倒排索引简介  倒排文件的使用  倒排文件的建立  倒排文件的维护  倒排文件的压缩  倒排文件的性能分析  词汇表的存取 倒排索引主要内容  倒排索引简介  倒排文件的使用  倒排文件的建立  倒排文件的维护  倒排文件的压缩  倒排文件的性能分析  词汇表的存取 倒排文件简介  倒排文件(Inverted File)  也称倒排索引，索引对象是文档或文档集合中 的单词等，用来存储这些单词在一个文档或者 一组文档中的存储位置，是对文档或文档集合 的一种最常用的索引机制  倒如:有些书往往在最后提供的索引(单词—页 码列表表)就可以看成是一种倒排索引.即通过 一些关键词,在全书中检索出与之相关的部分;  这种思想也被应用于数据库技术中,即对数据 库中需要经常进行检索的域建立索引结构,从 而实现快速查询. 在关系数据库上建索引 姓名 地址 姓名索引 张三 哈尔滨工业大学 张三 查询式: 姓名= “张三”  如上图所示,对”姓名”字段使用便于查找的数 据结构(如排序数组、B树或散列等)建立索引， 当查询某个名字时，就不需要从头至尾遍历整 个字段，而可以快速找到该姓名，从而查找出 与其对应的信息。 倒排文件组成  词汇表(vocabulary)+记录表(posting list)  词汇表  文档或文档集合中所包含的所有不同单词的集合 β  占用的空间V=cn ，c是常数，n是文档集合的大小，β是一个0到1 之间的常数，一般在0.4到0.6之间  记录表  对于词汇表中的每一个单词在文档中出现的位置或者其出现的文 档编号构成的列表  占用的空间P=cn，其中c是常数，随着记录表中存储的信息丰富 程度而变化  记录表既可以存储文本中单词的编号位置，也可以指向单词首字 母的字符位置，还可以是其所在的文