chapter3 index7 [兼容模式] - 南京大学信息管理学院.pdf

Chapter 3. 文本索引 （Indexing） 欧石燕 南京大学信息管理学院 为什么要建立索引？ 索引(Indexing) • 建立索引 (indexing): ： 将待搜索的信息进行一定的分 析，并将分析结果按照一定的组织方式存储起来。 • 索引 (index): 是一种数据结构，它在关键词与包含该关 键词的文档（或关键词在文档中位置）之间建立了一种 映射关系，从而加快检索速度。 • 常用的索引技术： − 倒排索引 − 签名文件 − 后缀树 • 实验数据表明，倒排索引是单词到文档映射关系的最佳 实现方式。 Inverted Index 倒排索引 （ ） • 给定一文档集合D − D={d , d , d ,..d , …, d }, 每个文档含有唯一的ID 1 2 3 j N （如id ） j • 一个倒排索引包含: − 一个单词词典（词表）V, V={t , t , t , …t , …t }, 该 1 2 3 i M 词表中含有文档集合中出现的所有不同的单词; − 对于每一个单词（如t ），有一个倒排项 i id , f , [o , o , …o ] j ij 1 2 |f | ij • id : 含有词t 的文档ID j i •f 词t 在文档d 中出现的次数（频率） ij: i j • [o , o , …o ]:词t 在文档d 中出现的位置 1 2 |fij| i j 一个简单的倒排索引举例 单词-页码对照表 倒排索引 •词典 （Vocabulary）：在文档集合中出现的所有不同单词构成的集合。 •倒排列表 （Posting List）：记载出现过某个单词的所有文档的文档列表及 单词在该文档中出现的位置信息。 •倒排文件 (Inverted File)：所有单词的倒排列表往往顺序地存储在磁盘的 某个文件里 ，称为倒排文件。倒排文件是存储倒排索引的物理文件。 文档集合的倒排索引 倒排索引实例一(1) 1.对汉语需先进行分词处理 ； 2.如有必要 ，需去除没有实际意义的停用词。 文档集合中出现的所有不同词的词表 倒排索引实例一(2) 倒排索引实例一(3) 倒排索引实例二(1) •文档集合（含有3篇文档）: −id : Applications of information retrieval on the Web. 1 −id : Retrieving information is useful for information 2 acquisition. −id : Information on the Web. 3 •文档预处理: −去除停用词， 如“is”,”on”,”th