胡曉光信息检索实验室.pptVIP

胡晓光 信息检索实验室 索引和查找 提纲 顺序查找 索引查找 签名文件 倒排文件 PAT树（Patricia tree） 关于压缩 说明 索引和查找的关系 索引和查找其实是密不可分的 建索引时必须不断的执行查找操作 查找和查询的区别 查找（search） 如何在索引中定位关键词信息 查询（query） Query处理：如何根据用户输入确定关键词 检索模型：如何利用查找返回的信息计算相似度等 文本压缩和索引压缩的区别 注意文本压缩不能有效地减少索引文件的大小 顺序查找 精确匹配算法 Brute Force Knuth-Morris-Pratt Boyer-Moore Shift-Or Suffix Automaton 容错匹配算法 Dynamic Programming Non-deterministic Finite Automaton Bit-Parallelism 正则表达式和扩展模式 索引 索引文件 为方便查找，描述原文件信息组织的文件 签名文件，倒排文档，后缀树都是索引文件 签名文件 Karp-Rabin匹配思想 假设我们现在要判断字符串A和字符串B是否匹配 把A和B分别散列成数字hash (A)和hash (B) 如果hash (A) != hash (B) 则A != B 然而hash (A) = hash (B) 不能说明 A ＝B Karp-Rabin匹配例子 关键词 x[0..5 ]： A A C T C T Hash( x[0..5] ) = 17579 文本y[0..9 ]： G C A A C T C T C A Hash( y[0..5] ) = 17819 文本y[0..9 ]： G C A A C T C T C A Hash( y[1..6] ) = 17533 文本y[0..9 ]： G C A A C T C T C A Hash( y[2..7] ) = 17579 签名文件 文档的签名 把文档中的关键词散列成F位的位串Signature 顺序访问原文档的关键词，把散列所得的位串依次存入文件 重叠编码(superimposed coding) 我们不需要为每个关键词都保存一个Signature 多个关键词共用一个Signature可以减少文件的长度 错误匹配（False drop） 由于重叠编码和哈希冲突的原因，关键词和Signature不是一一对应的关系 Signature匹配并不能保证关键词一定出现，还需要检查 Block 1 Block2 Block3 Block4 000101 110101 100100 101101 文本 签名文件 h(text) =000101 h(many) =110000 h(words) =100100 h(made) =001100 h(letters) =100001 This is a text. A text has many words. Words are made from letters. 签名文件 签名文件 优点 文件组织简单，基本和原文档顺序一致 维护容易，生成，插入，删除都很方便 所需空间小，特别是采用重叠编码之后 缺点 检索速度慢，需要顺序扫描 并且，当False Drop发生的时候需要比较原文档 总之 签名文件是倒排文档和全文扫描之间的折中 倒排文件 倒排索引思想 每个文档都可以用一系列关键词来表示 如果按关键词建立到文档的索引便可以根据关键词快速地检索到相关文档 倒排文件组成 词汇表（Vocabulary） 根据Heap’s定律，通常比较小O (n?), ?: 0.4~0.6 通常我们称存放词汇表的文件为索引文件（index file） 出现位置（Occurrence） 较大，O（n），通常在原文本的30％～40％ 通常我们称存放出现位置的文件为置入文件（posting file） 倒排文件 1 6 9 11 17 19 24 28 33 40 46 50 55 60 This is a text. A text has many words. Words are made from letters. letters 60 … made 50 … many