一种基于反向有限自动机的匹配算法.pdfVIP

高技术通讯 2001.2 一种基于反向有限自动机的匹配算法! # 许一震 王永成 吴芳芳 （上海交通大学计算机科学与工程系 上海 200030 ） 摘 要 根据中文信息处理的需要，把传统的有限自动机改造成了反向有限自动机。讨 论了利用反向有限自动机进行多模式的匹配，并给出了形式化的算法。通过比较，还指出 反向有限自动机匹配算法的若干优越之处。 关键词 自动机，匹配，字符串，反向有限自动机 后依次加到树型的有限自动机中的，在匹配时，目标 0 引言 串的输入，即匹配过程，也是按照从前到后的次序。 而反向有限自动机的构造中，每个模式串的字符从 利用有限自动机实现的多模式匹配算法，能仅 后到前，加到树型的自动机中，同时，匹配过程中，目 仅通过对目标串的一次扫描，把所有的模式串都找 标串的输入也是从后到前的顺序，即逆向扫描。下 ［ ］ 出来 1 - 4 。它在自然语言处理中的应用，将有助于 面举例说明反向有限自动机的算法。 提高其中大量使用的字符串匹配的速度。本文针对 例1：用反向有限自动机算法，在目标串“中华 中文字串的特点和中文信息处理的特点，讨论了反 人民共和国家”中查找 ｛国家，共和国，人民，中华人 向有限自动机，并指出，在一定的多模式字符串集合 民共和国，中国｝中的模式串。 下，反向自动机比正向自动机有更好的性能。 用反向有限自动机算法可生成图1 所示树型的 自动机，状态的集合为｛， ， ，…， ｝，输入集合 0 1 2 12 1 反向有限自动机匹配算法思想 是中文编码集的字符，输出集合是模式串集合 ｛国 家，共和国，人民，中华人民共和国，中国｝。 有限自动机的基本思想是根据输入和当前的状 态决定下一个状态和输出，接着再进入下一次输入。 在字符串多模式匹配中，向自动机输入所要查找的 目标字符串，自动机可以输出查找到的模式串以及 模式串在目标串的位置。 在处理英文字符串时，字符串通常以字节为单 位，即自动机的输入单位是一个字节。而目前中文 常用的编码多是双字节编码，因此在处理中文字符 图 反向有限自动机 1 串匹配时一般以双字节为单位。那么，处理中英文 混合字符串时，可将其中的单字节英文字符映射到 转向函数 （， ） ! # 中文编码集中，或者将字符串转换为统一编码的形 （， ）由图 中的实线箭头及上面的字符表 ! # 1 式。有限自动机的构造过程是将 示，定义了在箭头起始状态 时，如果“下一个”输入 模式串集合变换成由转向函数， 是箭头上的字符 ，则自动机的状态转到 （， ），