第3章 词法分析-4-词法分析程序的实现.ppt

* * 一个LEX源程序包括两部分：辅助定义式和识别规则 1、辅助定义式 D1→R1 Dn→Rn 其中Ri为正规式，只允许出现∑上字符D1,…,Di-1；Di为这个正规式Ri的简名 例1．Letter→A|B|…|Z Digit →0|1|…|9 Id → Letter(Letter|Digit)* . . . * * 2.识别规则 P1{A1} . . . Pm{Am} 其中，Pi称为词形，为正规式(∑∪{D1,…,Dm}) Ai称为词形Pi的动作（程序） 显然：一个LEX源程序产生的词法分析器只能识别形如Pi的单词。 * * 二、LEX的实现 LEX编译程序的目的是把一个LEX程序改造为一个词法分析器L，这个词法分析器L将象自动机一样工作。 1．词法分析器L的工作方法 L逐个地扫描输入串的每个字符，寻找一个最大 的子串匹配某个Pi（即：当输入串已匹配某个词形 时，并不立即返回，而是沿着此道路继续前进，直 至不能前进为止，逐个字符地逆向搜索，找到第一 个逆向搜索到的匹配词形），把这个子串放入TOKEN 中，然后L调用动作子程序Ai（如果有二义，前面位置 的词形优先），当Ai工作完后，L就把所得的单词符号 （种别，内部码值）返回语法分析程序。下次调用L，接着往下分析。 * * 2.LEX程序的编译过程 （1）对每条识别规则Pi构造一个NFA Mi; （2）引入一个新的初态X，从X画ε弧到每一个NFA Mi的初态，构造出一个NFA M; （3） 把NFA M改造为DFA M’，这个DFA M’就是能识别所有形如Pi词形的词法分析器。 这样我们就可用程序实现之，即编制出词法分析程序L。 * * 实例1 编写程序，实现下述LEX源程序的功能 辅助定义：(1)digit→0|1|...|9 (2)letter→A|B|...|Z 识别规则: (1)digit(digit)* {Return(4,val)} (2)letter(letter|digit)* {Return(5.Token)} (3) * {Return(6,_)} (4) ** {Return(7,_)} * * 解： 1、各识别规则的NFA为： * * 2、加入新初态X，构成NFA M整体 * * 3、确定化为DFA M’ * * 4、写出实现其功能的程序 PROGRAM LEX(input,output) BEGIN TOKEN:=’’; getchar; CASE char OF ‘0’..’9’:[while char IN[‘0’..’9’]DO BEGIN TOKEN:=TOKEN+char; getchar END; retract; IF VAL(token,value) THEN return(4,value)]; ‘A’..’Z’:[while char IN[‘A’..’Z’,’0’..’9’]DO BEGIN TOKEN:=TOKEN+char; getchar END; retract; Return(5,token)]; ‘*’:[getchar; IF char=’*’ THEN Return(7,-) ELSE [retract;Return(6,-)] ELSE:ERROR; END{of case}; END; * * 本章小结 词法分析概况 状态转换图 确定型有穷状态自动机 非确定型有穷状态自动机 正则表达式 词法分析程序的实现 词法分析器的自动生成 * * 基本要求 了解词法分析程序的功能和实质。 明确DFA与NFA的区别，掌握把NFA变为DFA的方法； 熟练掌握把正则文法变为状态转换图以及写出有穷状态自动机的方法。 掌握词法分析程序的基本实现方法。 * * * 中南大学软件学院 陈志刚 第三章 词法分析 中南大学软件学院 陈志刚 第三章 词法分析 3.1 词法分析概述 3.2 正规文法和状态转换图 3.3 有限自动机 3.4 正规表达式和正规集 3.5 词法分析器的实现 * * 3.1 词法分析概述 一、词法分析程序的任务 二、词法分析程序的功能 三、词法分析程序的安排 四、词法分析程序的实现方式 五、词法分析程序的输出形式 * * 词法分析程序 词法