一种改进的Wu-Manber多模式匹配算法及应用.pdfVIP

一种改进的 Wu-Manber 多模式匹配算法及应用① 孙晓山，王强，关毅，王晓龙 （哈尔滨工业大学计算机学院 ，哈尔滨 150001 ） 摘要：本文针对 Wu －Manber 多模式匹配算法在处理后缀模式情况下的不足，给出了 一种改进的后缀模式处理算法，减少了匹配过程中字符比较的次数，提高了算法的运行效率。 本文在随机选择的TREC2000 的52，067 篇文档上进行了全文检索实验, 对比了Wu －Manber 算法、使用后缀模式的改进算法、不使用后缀模式的简单改进等三种算法的匹配过程中字符 比较的次数。实验结果说明，本文的改进能够比较稳定的减少匹配过程中字符比较的次数， 提高匹配的速度和效率。 关键字：多模式匹配、后缀模式、字符串匹配、全文检索、信息检索 An improved Wu-Manber multiple-pattern matching algorithm and its application Xiaoshan Sun ,Qiang Wang ,Yi Guan ,Xiaolong Wang (School of Computer Science and Technology, Harbin Institute of Technology,150001) Abstract: The Wu-Manber algorithm does not work well when some patterns are suffix of other patterns. To solve the problem, an improved algorithm is introduced which reduces the number of comparisons during pattern matching and leads to a faster matching algorithm. The text retrieval experiments use 52,067 passages which are randomly selected from TREC2000. Three algorithms including the Wu-Manber algorithm, the improved algorithm and the algorithm simply breaks halfway,are compared and the results show that the improved algorithm can steadily reduce the number of character comparisons and thus work more efficiently. Keywords: Multiple-pattern matching; suffix pattern; string matching; full text retrieval; information retrieval; 1 前言 快速的多模式匹配算法在信息检索中的全文检索有广泛的应用。全文检索由于具有索 引的空间开销小、能够适应被检索的文本经常和频繁变动、灵活性好、并且从理论上任何信 息都可以通过全文检索得到等特点，从而在小规模的信息检索方面，比采用倒排索引的方法 有较好的性能。此外，在文本向量化、信息过滤等领域多模式匹配也有重要的应用。所谓的 多模式匹配，就是从文本 text[1:n] 中一次匹配多个模式 P ，P ， ，其中 q 为模式 P 1 2 q 的个数。多模式匹配比对多个模式逐个进行普通的单模式匹配的速度要快许多。 经典的单模式匹配算法包括 Knuth －Morris—Patt （KMP ）[1] 、 Boyer －Moore （BM ） [2]、Rabin －Karp [3]等。经典的多模式匹配算法包括基于有限的自