第四章 词法分析.pptVIP

编译原理 Principles of Compiler 4.1 概述 词法分析的任务 扫描源程序，从中识别出单词 单词 程序设计语言的基本语法单位，也是最小的语义单位 单词的类型 关键字(Keyword)，标识符(Identifier)，常数(Constant)，运算符(Operator) 4.2 自动机的模拟 NFA的模拟算法 S := ?-Closure( { q0 } ) a := getch(); while a ? eof do begin S := ?-Closure( ?q?S?(q,a) ); a := getch(); end if S ? F ? ? then return ACCEPT; else return REJECT; 算法复杂度： 时间复杂度O(|N| ? |?|) 4.2 自动机的模拟 NFA的模拟 时间复杂度高，空间复杂度低 DFA的模拟 时间复杂度低，空间复杂度高 4.3 LEX编译器 根据正则表达式自动生成词法分析器 LEX中词法分析器的定义(LEX说明) r1 { action1 } r2 { action2 } . . . rn { actionn } LEX编译器模型 输入为LEX说明 输出一个词法分析程序 4.3 LEX编译器 LEX生成的词法分析程序 4.4 LEX的工作原理 根据LEX说明生成等价的NFA 4.5 LEX的例子 LEX说明 %{ /* 常量定义，包括：LT, LE, EQ, NE, GT, GE, IF, THEN, ELSE, ID, NUMBER, RELOP等 */ %} /* 正则表达式定义 */ delim [ \t\n] ws {delim}+ letter [A-Za-z] digit [0-9] id {letter}({letter}|{digit})* number {digit}(\.{digit}+)?(E[+\-]?{digit}+)? /* 动作定义 */ %% {ws} { } if { return (IF); } then { return (THEN); } else { return (ELSE); } {id} { yylval = InstallID(); return (ID); } {number} { yylval = InstallNumber(); return (NUMBER); } ““ { yylval = LT; return (RELOP) } “=“ { yylval = LE; return (RELOP) } … %% InstallID() { /* 在符号表中登记一个标识符 */ } InstallNumber() { … } * 第四章 词法分析 。。。。。。。。。单词。。。。。。。。 输入缓冲区 FA模拟器 状态转换表 将识别动作嵌入到词法分析器中 * * * * *