第二章_RE到NFA的转换.pptVIP

编译程序原理与实现 张晶 2011.3 第2章 outline 一、词法分析概述 1，词法分析程序的功能 2，词法分析相关的一些问题 二、正则表达式 三、有限自动机 1，确定有限自动机DFA 2，非确定有限自动机NFA，NFA到DFA的转换 3，DFA的化简 4，正则表达式到NFA的转换 四、词法分析程序构造 4、正则表达式到NFA的转换 正则表达式和有限自动机都是形式语言，都可以描述程序设计语言的单词结构。 正则表达式便于描述和理解 有限自动机便于实现 二者的描述能力是等价的，都描述正则语言，可相互转换。 一般地，设计词法分析程序的步骤是：先用RE定义单词结构，然后将RE转化成NFA，NFA再转化成DFA，DFA化简并实现得到词法分析程序。 RE到NFA转换-Thompson算法 转换基于语言等价原则 ? 是RE，L(?)={ } ?是RE, L(?)={ ? } 任何 c ??, c 是RE, L(c)={c} ( A ), L( (A) ) = L(A) RE到NFA转换 A | B，L( A | B )=L(A)?L(B) RE到NFA转换 A B， L( A B )= L(A)L(B) RE到NFA转换 A* ，L( A*) = L(A)* 特别声明 上述规则只对具有一个开始状态和一个终止状态的NFA有效; 任何NFA都可以经过变换符合上述要求; RE到NFA的转换 例1：将正则表达式 (a | b)* a b b (a | b)转化成等价的NFA. RE到NFA的转换 例2：将正则表达式a((a|b)*ab*a)b 转化成等价的NFA. RE到NFA的转换 例3：将正则表达式 (0 | 1)*00转化成等价的NFA. 第2章 outline 一、词法分析概述 1，词法分析程序的功能 2，词法分析相关的一些问题 二、正则表达式 三、有限自动机 1，确定有限自动机DFA 2，非确定有限自动机NFA，NFA到DFA的转换 3，DFA的化简 4，正则表达式到NFA的转换 四、词法分析程序构造 四、词法分析程序构造 手工构造词法分析程序 利用自动生成工具LEX-生成词法分析程序 手工构造词法分析程序 用DFA实现词法分析 DFA DFA的输出就是接受还拒绝，只能检查串是否被DFA接受; 词法分析程序 识别出可接受的单词,并建立它的内部表示 token-type, attribute-value ToyL词法规则的正则定义 letter = a|…|z|A|…|Z digit = 0|…|9 NZ-digit = 1|…|9 Keywords: Keyword = var| if | then | else| while| read| write| int Identifiers: identifier = letter (digit|letter)* Constant: integer: int = NZ-digit digit* | 0 Other symbols: syms = +|-| *|/ | | | = | : | ; | ( | ) | { | } Whitespace: ws = (‘ ‘ | \n | \t)+ Lexical structure: lex = Reserved | identifier | int | syms | ws ToyL的有限自动机 ToyL的有限自动机 ToyL的有限自动机 根据 DFA构造词法分析程序 输入: 以EOF 作为结束符的符号序列; 输出: token序列; 数据结构： struct Token {TkType type; //单词类别 char val[50]; //语义信息 } 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 开发词法分析程序应注意的一些问题 去掉注释、空格、制表符等格式控制符号 {… x = 0; /*变量初始化*/ x = y * z ; //计算x …} 开发词法分析程序应注意的一些问题 进行宏替换 #define LEN 100 包含文件的拷贝 #include “stdio.h” 开发词法分析程序应注意的一些问题 括号匹配的问题，本属于语法分析部分，但放在词法分析部分处理，可以大大减轻语法分析程序的