第五讲文本索引及搜索.ppt

An Introduction to Database Systems 第五讲 文本索引和搜索 倒排文件结构 倒排文件另一种结构 倒排文件的使用 B树与Trie树结构 推荐方法示例 倒排文件的存储 磁盘倒排文件的使用 磁盘倒排文件的维护 词汇表的压缩 记录表的压缩 文本的后缀 后缀数组 后缀树 签名文件 签名文件的使用 词汇签名编码的重要性 签名文件的维护和特点 文本搜索 BF算法 BF算法代码示例 BF算法分析 BF算法分析（续） KMP算法中模式P的跳转表 KMP算法中模式P跳转表的优化 KMP算法的匹配过程 KMP算法跳转表求解示例 KMP算法代码示例 BM算法 BM算法跳转表求解 BM算法跳转表求解示例 多模式匹配算法在单模式下的应用 利用状态转换表的匹配示例 例1 b c d e P = Shift 1 2 3 4 b 1 1 1 c 0 2 2 d 0 0 3 e 0 0 0 例2 a a a a P = Shift 1 2 3 4 a 例3 a a a b P = Shift 1 2 3 4 a 3 b 0 0 0 BM算法关键还是求跳转表。 1、跳转表中的值越小，则匹配速度越快； 2、当模式串中不同的字符个数越多，跳转表占 用的存储空间越多； 3、若跳转表中某行元素全为零，则该行可不必 存储。 4、一般情况下，若模式串很短（如长度1~3） 则BF、KMP和BM算法效率差别不大；若字 母表很大，模式串也较长，则KMP算法的 效率一般较高； 关于BM算法代码请自行设计实现。 1、多模式匹配方法当然也适用于单模式的搜索； 2、关于多模式匹配方法在第三讲切词中已经详细介绍。 P = abcaababc a b c a a b a b c 1 2 3 4 5 6 7 8 9 0 S ch S1 Act 0 a 1 R 0 非a 0 R 0 # End 1 b 2 R 1 非b 0 2 c 3 R 2 非c 0 3 a 4 R 3 非a 0 4 a 5 R 4 非a 1 S ch S1 Act 5 b 6 R 5 非b 1 6 a 7 R 6 非a 2 7 b 8 R 7 非b 1 8 c 9 R 8 非c 2 9 3 Pr 令计数变量初值 Pos = 1 ，在执行 R 动作的同时对 Pos 进行加 1 。当到达 9 状态时，打印输出 Pos-9 的值（9为模式串长度）。 利用该方法实现搜索时，在搜索之前需要建立模式的状态转换表。显然，该方法在多模式匹配时才会显出其优势。 另外，生成状态转换与生成KMP算法的跳转表本质是一样的。 T = a a b c b a b c a a b c a a b a b c # 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 P = a b c a a b a b c S ch S1 Act 0 a 1 R 0 非a 0 R 0 # End 1 b 2 R 1 非b 0 2 c 3 R 2 非c 0 3 a 4 R 3 非a 0 4 a 5 R 4 非a 1 S ch S1 Act 5 b 6 R 5 非b 1 6 a 7 R 6 非a 2 7 b 8 R 7 非b 1 8 c 9 R 8 非c 2 9 3 Pr S Pos 0 1 1 2 0 2 1 3 2 4 3 5 0 5 0 6 1 7 2 8 3 9 4 10 Pos S Pos 5 11 6 12 2 12 3 13 4 14 5 15 6 16 7 17