中国农业大学《编译原理》课件-第4章词法分析.pptVIP

- $ASSIG 13 0002 $ID 12 - $SEMI 11 0001 $REAL 10 - $ASSIG 9 0001 $ID 8 - $BEGIN 7 - $SEMI 6 0000 $INT 5 - $PLUS 4 0000 $ID 3 - $ASSIG 2 0000 $ID 1 0000 $ ID 26 - $ ASSIG 25 0000 $ID 24 - $DO 23 0002 $INT 22 - $LT 21 0000 $ID 20 - $WHILE 19 - $SEMI 18 - $END 17 0000 $ID 16 - $STAR 15 0001 $ID 14 同时被生成的NAMEL表和CONSL表分别如下图： ZZ 0002 YY 0001 X1 0000 NAMEL表 100的=进制 0002 0.5的=进制 0001 1 的=进制 0000 CONSL表 等价3型文法 G2=(VN,VT,P,S)如下: VN=｛Z,B,M｝R是终止状态没有输出边去掉 VT=｛a,b｝ S=Z P=｛Z→aM|bB|a|b B→aB|bZ|a|b M→bM|b|a｝ 说明: Z→aM|a Z→bB|b 例子: 设有文法如下： G[S]：S→A|bB A→c B→dD D→ε 构造等价自动机。 化简文法：S→c|bB B→dD B→d c d b d K B S + - D c b d K B S + - 例子: 自动机如下所示,求与之等价的正则文法。 1 2 a 3 b a + - b a b +1 2 2 2,3 -2,3 2 2,3 G=({A,B,C},{a,b},P,A),其中P为： A→aB B→bC|b C→aC|a|aB A B a C b a + - a 4.6 词法分析程序的生成器 这里介绍一种以正则表达式作为输入的词法分析程序生成器，称为LEX。 单词的描述 词法分析程序生成器 LEX源程序 LEX Compiler 词法分 析程序 1. 一个LEX源程序由下面两段组成： 辅助定义 (可略) 转换规则段 辅助定义段形式： D1=R1 D2=R2 …… Dn=Rn 例如：设VT={A,B,……Z,0,1,……9} letter=A|B|……|Z digit=0|1|……|9 identifer=letter(letter|digit)* 第三个式子不能在一、二之前。 转换规则形式： P1 {A1} P2 {A2} …… …… Pn {An} 例子：要构造具有此变换功能的词法分析器，可编写LEX源程序如下： 辅助定义段 Letter=A|B|……|Z Digit=0|1|……|9 转换规则段 IF {return 3 } THEN {return 4 } ELSE {return 5 } {return 34} := {return 38} ( {return 20} ) {return 21} + {return 24} * {return 26} letter(letter|digit)* {return,0,标识符自身值} digit(digit)* {return,1,常量值} …… …… 2. LEX compiler所完成的工作： (a)对于每条转换规则Pi(正则式)构造NFA自动机。 (b)引进新的开始状态，由此出发通过m条?弧，将m个NFA连成一个NFA。 (c)运用子集法将NFA化为FA。 例子：试利用LEX compiler 自动生成一个能识别无符号数d…d.d…dESd…d的词法分析程序。 准备提交给生成的LEX源程序为 辅助定义段： digit=0|1|…|9 (d) Sign=+|-|E (S) 转换规则段： dd* {A1} d*.dd* {A2} d*ESdd*