3-2-lex介绍.pptVIP

LEX 开发背景 LEX的工作过程 LEX输入文件格式 LEX输入文件组成部分 LEX的实现 核心算法 —— 二义性问题的解决 核心算法 ——C代码的插入 例 例：某语言Tiny C的lex输入源文件 综合评价 LEX应用 * 20世纪50年代，开始开发高级语言及其编译器，但此时编译理论不成熟，开发工作复杂而艰苦。 chomsky研究的语言分层体系等理论，以及实践经验的积累，使编译器的构造变得相对简单。 人们开始研究编译器的自动构造。 20世纪70年代开始出现一些编译程序自动生成程序。 如：yacc(语法分析程序生成器)， lex(词法分析程序生成器)。 输入文件 **.l LEX 输出文件 Lex.yy.c 工作：扫描源文件，将源文件中规则部分的正规表达式转换成相应的DFA，并以状态转移矩阵的形式，连同驱动程序yylex，输出到名为lex.yy.c的文件中。该输出文件即为词法分析器。 {definitions} 定义部分 %% {rules} 规则部分 %% {auxiliary routines} 辅助程序集/用户程序集部分 由三个部分组成，由位于新一行第1列的“%%”分割。 该文件中，信息分为2类： ⑴.正则表达式信息 Lex利用这个信息指导构成它的C输出代码 ⑵.提供给Lex的真正的C代码 Lex会在适当的位置将它插入到输出代码中。 定义部分 包括：⑴. 由：分隔符“% {”和“% }”扩起的C代码； ⑵. 正则表达式的名字定义； %{ /* 将数字从10进制转成16进制形式。yytext是Lex 赋予并由正则表达式匹配的串的内部名字， * / #include stdlib.h #include stdio.h int count = 0; %} digit [0-9] number {digit}+ % % … … C程序代码 名字定义 规则部分 由一串带有C代码的正则表达式组成；形如： P1 {action 1} P2 {action 2}…… Pn {action n} {Action i} —— 识别出Pi所描述的单词之后， 词法分析器应采取的动作。 … % % {number} { int n = atoi (yytext); printf (%x, n); if (n9) count++;} % % … Pi —— 正规式 action i —— C程序代码 辅助程序集/用户程序集部分 由一些C代码组成。 ⑴.规则部分的action所需要的辅助过程； ⑵.如果要将Lex输出作为独立程序来编译，则这一 部分还会有一个主程序； … … %% main( ) { yylex ( ); fprintf(stderr,number of replacements = %d,count) ; return 0 ; } ⑴. 对规则部分的每个正规式Pi，为其构造相应的 NFA Mi (1≤i≤m)。 ⑵. 引入一新的初态S0，并用ε把 S0 和每个NFA Mi 的初态连接起来，得到描述该扫描器的NFA M 。 ⑶. 利用子集法将M确定化，将DFA M 输出。 S0 M1 M2 Mm P1 P2 Pm ε ε ε … a {…} abb ｛…} a*bb* {…} 0 ε ε ε 1 2 a 3 6 a 4 5 b b 7 8 b a b 例：某LEX输入程序： ⑴. 对Pi，构造NFA Mi ⑵. 引入新初态S0，并用ε把S0和每个NFA Mi的初态连接起来，得到描述该扫描器的NFA M 。 0 ε ε ε 1 2 a 3 6 a 4 5 b b 7 8 b a b 例：正规式： a、 abb 、 a*bb* ⑶.利用子集法 将M确定化 终态 终态 终态 终态 初态 8 — 68 68 — 58 8 7 7 8 — 8 58 7 247 8 247 0137 b a 状态 0137 a b a b b 7 68 b b b 247 58 a 8 若有多条规则与被扫描文件中的字符串相匹配，则执行能匹配最长字符串的规则， 称为：“最长匹配原则”； 若有多条规则匹配长度相同的字符串，则选择在LEX源文件中排列最前面的规则进行匹配， 称为：“最先匹配原则”。 例：正规式： a、 abb 、 a*bb* 串：aba… 可以匹配：a,ab。按最长匹配原则，匹配ab ab ab a 识别的单词 按反序检查经历的状态,找出终态,并退回多读的符号 — a 58 终态，但继续匹配 58 b