第三章词法分析.pptVIP

第三章：词法分析 基于DFA的词法分析器（模式匹配器）的优化 复习 第三章：词法分析：基于DFA的模式匹配器的优化 三个算法 直接由正规表达式创建DFA 最小化DFA的状态数 DFA状态转换表的压缩方法 第三章：词法分析：基于DFA的模式匹配器的优化 几个概念 NFA重要状态：有一个标志为非空的出边 子集构造法在确定ε-closure (move(T,a))时只使用了子集T中的重要状态 只有当T是重要的，集合move(T,a)才是非空的 只有字母表上的一个符号出现在正规表达式中时，Thompson子集构造法才创造一个重要状态。 例如：对于(a|b)*abb的每个a和b创建重要状态。 等同子集 重要状态相同 同时包含或不包含NFA的接受状态（接受状态无出边--不重要） 第三章：词法分析：基于DFA的模式匹配器的优化 几个概念 扩展正规表达式：r# r的接受状态变为重要状态 语法树表示 图3-39a 叶节点：基本符号（包括ε） 非ε：唯一的整数表示叶节点的位置/对应符号的位置 内节点：操作符（连接、|、*） 对应NFA 图3-39c 对应DFA： 图3-39b 子集构造法、等同子集 对比图3-29：状态数少一个 第三章：词法分析：基于DFA的模式匹配器的优化 扩展正规表达式=〉DFA 原理：绕过NFA的构造而直接构造一个其状态对应于语法树的位置集合的DFA 具体步骤 为(r)#构建一个语法树T 然后遍历语法树T计算nullable、firstpos、lastpos、followpos四个函数 nullable、firstpos、lastpos定义在语法树的节点上，用于计算followpos 最后由followpos构建DFA 第三章：词法分析：基于DFA的模式匹配器的优化 扩展正规表达式=〉DFA followpos(i) 给定位置I 满足下列条件的位置j的集合 对于某个输入字符串…cd…，位置i对应着c的出现，位置j对应着d的出现 例3.21：followpos(1)={1,2,3} 第三章：词法分析：基于DFA的模式匹配器的优化 扩展正规表达式=〉DFA firstpos、lastpos、nullable firstpos(n)：n为根节点的子表达式生成的字符串中第一个符号相匹配的位置集合 n为扩展正规表达式的语法树的任意一个节点，对应一个子表达式 lastpos(n)：类似， n为根节点的子表达式生成的字符串中最后一个符号相匹配的位置集合 nullable(n)：n是否可空的（n是否允许空字符串） 图3-40：计算nullable和firstpos的规则 lastpos：对调firstpos规则中的c1和c2 图3-41：(a|b)*abb#的语法树中节点的firstpos和lastpos 第三章：词法分析：基于DFA的模式匹配器的优化 扩展正规表达式=〉DFA 如何计算followpos(i) 如果n是连接节点，它具有左子节点c1和右子节点c2，并且i是lastpos(c1)的一个位置，则firstpos(c2)的所有位置都在followpos(i)中 如果n是*节点，并且i是lastpos(n)中的一个位置，则firstpos(n)的所有位置都在followpos(i)中 第三章：词法分析：基于DFA的模式匹配器的优化 扩展正规表达式=〉DFA 如何计算followpos(i) 如果每一个节点的firstpos和lastpos都计算好了，那么对语法树进行一次深度优先遍历就可以计算每一个位置的followpos 图3-42：followpos函数 图3-43： followpos函数的有向图 第三章：词法分析：基于DFA的模式匹配器的优化 扩展正规表达式=〉DFA followpos函数的有向图：正规表达式的无ε转换的NFA 根节点的firstpos中的所有位置作为开始状态 每一个有向边（i，j）用位置j上的符号标志 把与#相关的位置看成是唯一的接受状态 采用子集构造法把followpos图转换成DFA 第三章：词法分析：基于DFA的模式匹配器的优化 扩展正规表达式=〉DFA 算法3.5：从正规表达式r构造DFA 构造扩展的正规表达式(r)#的语法树T，其中#是附加在(r)后面的唯一结束标志 通过对T进行深度优先遍历计算nullable、firstpos、lastpos、followpos四个函数的值 利用图3-44所示的过程构造DFA的状态集，生成DFA的状态转换表。 DFA的状态：位置集 DFA的开始状态：firstpos（root） DFA的接受状态：与结束符#相关的位置的状态 例