利用有限自动机分析正则表达式.docVIP

利用有限自动机分析正则表达式 版权声明：可以任意转载，但转载时必须标明原作者charlee、原始链接以及本声明。 程序编译的第一个阶段是词法分析，即把字节流识别为记号(token)流，提供给下一步的语法分析过程。而识别记号的方法就是正则表达式的分析。本文介绍利用有限自动机分析表达式的方法。 概念将正则表达式转换为NFA(Thompson构造法) 算法性质示例将NFA转化为DFA 算法示例NFA和DFA的效率概念 记号 有字母表中的符号组成的有限长度的序列。记号s的长度记为|s|。长度为0的记号称为空记号，记为ε。有限自动机(Finite State Automaton) 为研究某种计算过程而抽象出的计算模型。拥有有限个状态，根据不同的输入每个状态可以迁移到其他的状态。非确定有限自动机(Nondeterministic Finite Automaton) 简称NFA，由以下元素组成：1.有限状态集合S；2.有限输入符号的字母表Σ；3.状态转移函数move；4.开始状态sSUB{0}；5.结束状态集合F，F∈S。自动机初始状态为sSUB{0}，逐一读入输入字符串中的每一个字母，根据当前状态、读入的字母，由状态转移函数move控制进入下一个状态。如果输入字符串读入结束时自动机的状态属于结束状态集合F，则说明该自动机接受该字符串，否则为不接受。确定有限自动机(Deterministic Finite Automaton) 简称DFA，是NFA的一种特例，有以下两条限制：1.对于空输入ε，状态不发生迁移；2.某个状态对于每一种输入最多只有一种状态转移。将正则表达式转换为NFA(Thompson构造法) 算法 算法1将正则表达式转换为NFA(Thompson构造法) 输入字母表Σ上的正则表达式r 输出能够接受L(r)的NFA N 方法首先将构成r的各个元素分解，对于每一个元素，按照下述规则1和规则2生成NFA。注意：如果r中记号a出现了多次，那么对于a的每次出现都需要生成一个单独的NFA。 之后依照正则表达式r的文法规则，将生成的NFA按照下述规则3组合在一起。 规则1对于空记号ε，生成下面的NFA。 规则2对于Σ的字母表中的元素a，生成下面的NFA。 规则3令正则表达式s和t的NFA分别为N(s)和N(t)。 a)对于s|t，按照以下的方式生成NFA N(s|t)。 b)对于st，按照以下的方式生成NFA N(st)。 c)对于s*，按照以下的方式生成NFA N(s*)。 d)对于(s)，使用s本身的NFA N(s)。 性质 算法1生成的NFA能够正确地识别正则表达式，并且具有如下的性质： N(r)的状态数最多为r中出现的记号和运算符的个数的2倍。N(r)的开始状态和结束状态有且只有一个。N(r)的各个状态对于Σ中的一个符号，或者拥有一个状态迁移，或者拥有最多两个ε迁移。示例 利用算法1，根据正则表达式r=(a|b)*abb可以生成以下的NFA。 将NFA转化为DFA 算法 使用以下的算法可以将NFA转换成等价的DFA。 算法2将NFA转化为DFA 输入NFA N 输出能够接受与N相同语言的DFA D 方法本算法生成D对应的状态迁移表Dtran。DFA的各个状态为NFA的状态集合，对于每一个输入符号，D模拟N中可能的状态迁移。 定义以下的操作。 操作说明 ε-closure(s)从NFA的状态s出发，仅通过ε迁移能够到达的NFA的状态集合 ε-closure(T)从T中包含的某个NFA的状态s出发，仅通过ε迁移能够到达的NFA的状态集合 move(T,a)从T中包含的某个NFA的状态s出发，通过输入符号a迁移能够到达的NFA的状态集合 令Dstates中仅包含ε-closure(s),并设置状态为未标记； while Dstates中包含未标记的状态T do begin 标记T； for各输入记号a do begin U：=ε-closure(move(T,a))； if U不在Dstates中then 将U追加到Dstates中，设置状态为未标记； Dtrans[T,a]：=U； end endε-closure(T)的计算方法如下： 将T中的所有状态入栈； 设置ε-closure(T)的初始值为T； while栈非空do begin 从栈顶取出元素t； for从t出发以ε为边能够到达的各个状态u do if u不在ε-closure(T)中then begin 将u追加到ε-closure(T)中； 将u入栈； end end示例 将上面生成的NFA转化为DFA。 最初，Dstates内仅有ε-closure(0)=A={0,1,2,4,7}。然后对于状态A，对于输入记号a，计算ε-closure(move(A,a))=ε-clo