第二章形式语言和自动机理论.pptVIP

2.4 词法分析程序的设计和实现 手工构造词法分析程序 词法分析程序的自动生成器 – Lex 手工构造词法分析程序 用DFA实现词法分析 DFA 就是检查串是否被DFA接受; 词法分析程序 识别出可接受的单词,并建立它的内部表示 token-type, attribute-value ToyL词法规则的正则定义 letter = a|…|z|A|…|Z digit = 0|…|9 NZ-digit = 1|…|9 Reserved words: Reserved = var| if | then | else| while| read| write| int Identifiers: identifier = letter digit* Constant: integer: int = NZ-digit digit* | 0 Other symbols: syms = +|-| *|/ | | | = | : | ; | ( | ) | { | } Lexical structure: lex = Reserved | identifier | int | syms ToyL的DFA 根据 DFA构造词法分析程序 输入: 以EOF 作为结束符的符号序列; 输出: token序列; 数据结构： struct Token {TkType type; //单词类别 string val[50]; //语义信息} 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 根据 DFA构造词法分析程序 词法分析程序的生成器 – Lex LEX（Lexical Analyzer Generator）即词法分析器生成工具是1972年贝尔实验室的M.E.Lesk和E.Schmidt在UNIX操作系统上首次开发的。最新版本是FLEX(Fast Lexical Analyzer Genrator) 工作原理：LEX通过对Lex源文件的扫描，经过宏替换将规则部分的正则表达式转换成与之等价的DFA，并产生DFA的状态转换矩阵（稀疏矩阵）；利用该矩阵和源文件的C代码产生一个名为int yylex()的词法分析函数，将yylex()函数拷贝到输出文件lex.yy.c中。 词法分析程序的生成器 – Lex Lex程序的结构 Lex中的冲突解决 Lex的例子 第二章 总结 关于 有限自动机 DFA的定义 (?, 开始状态, 状态集, 终止状态集, 转换函数f) NFA的定义 (?, 开始状态集, 状态集,终止状态集, 转换函数f) NFA 与 DFA的区别 开始状态数 ? NFA允许从一个状态和一个符号引出多条边 第二章 总结 关于 有限自动机 NFA 到 DFA的转换 主要思想 解决的问题 DFA 的化简 主要思想 解决的问题 DFA 的实现 第二章 总结 关于正则表达式 正则表达式的定义 正则定义 正则表达式 到 NFA的转换 主要思想 解决的问题 用正则表达式定义词法结构 第二章 总结 关于词法分析器 用正则表达式定义词法结构 将正则表达式 转换成 NFA 将NFA 转换成 DFA DFA化简 实现DFA 第二章 总结 原始问题 开发词法分析程序 读源程序的字符流,根据源语言的词法规则识别token; 通用技术 应用RE定义词法结构; RE - NFA - DFA -最简DFA - 实现 通用问题 应用RE/FA 定义结构规则 检查输入是否满足所定义的结构规则 第二章 总结 知识应用 应用 RE(DFA) 形式描述以下结构 字符串(公式,格式等) 安全策略 接口说明 检查或验证 字符串是否满足结构规则 程序的某些执行是否满足安全策略 属性检查 * * 开发 词法分析程序 用正则表达式 定义词法规则 NFA DFA 转换 转换 最简 DFA 化简 实现 start done ID IntNum colon NZ-digit digit other2 other1 +, -, *, /, | | = | , | ; | ( | ) | { | } = letter letter digit other 表示不被当前状态允许的符号! 在IntNum状态,other1表示digit以外的符号 在ID状态,other2表示digit和letter以外的符号 在colon状态,other3表示“=” 以外的符号 : A