同济大学编译原理 第三章 词法分析综述.ppt

第三章 词法分析;概括大家的工作;内容线索;词法分析器的功能;单词符号表示形式;分类方法;单词符号的属性;例. 代码段 while (i=j) i--; 词法分析结果;逻辑IF （34，_） 左括号 （2，_） 整常数 （20，‘5’的二进制表示） 等号 （6，_） 标识符 （26，‘M’） 右括号 （16，_） GOTO （30，_） 标号 （19，‘100’的二进制表示）;词法分析程序的实现方式;内容线索;词法分析器的结构;单词符号的识别：超前搜索;单词符号的识别：超前搜索;状态转换图;状态转换图定义;状态转换图的作用;状态转换图所能识别的语言;状态转换图示例; a. .b a .b E (或D)±d a.b (a,b,d 为整数常数) a.E±d .b E±d a.b±E d aE±d;状态转换图识别单词符号的过程;例. 设一小语言所有单词符号及其内部表示形式;能识别小语言所有单词的状态转换图;状态转换图实现中的变量和过程;程序段;程序段;int code,value; strToken=“”; GetChar();GetBC()； If (IsLetter()) { while(IsLetter() or IsDigit()) {Concat();GetChar();} Retract(); code=Reserve(); if(code==0) { value=InsertId(strToken); return($ID,value);} else return(code,-);} else if(IsDigit()) { while(IsDigit()) {Concat(); GetChar();} Retract(); value=InsertConst(strToken); return($INT,value);} ;内容线索;FA;内容线索;词法分析器的自动产生——LEX;语言LEX的一般描述;例. 正规式辅助定义式;例. 识别小语言单词符号的 LEX 程序 AUXILIARY DEFINITIONS /* 辅助定义 */ letter→ A│B│ . . .│Z digit→ 0│1│ . . . │9 RECOGNITION RULES /* 识别规则 */ 1 DIM {RETURN (1, _ )} 2 IF {RETURN (2, _ )} 3 DO {RETURN (3, _ )} 4 STOP {RETURN (4, _ )} 5 END {RETURN (5, _ )} 6 letter(letter | digit)* {RETURN (6, getSymbolTableEntryPoint() )} 7 digit (digit)* {RETURN (7, getConstTableEntryPoint() )} 8 = {RETURN (8, _ )} 9 + {RETURN (9, _ )} 10 * {RETURN (10, _ )} 11 ** {RETURN (11, _ )} 12 , {RETURN (12, _ )} 13 ( {RETURN (13, _ )} 14 ) {RETURN (14, _ )};LEX 的实现;例. LEX 程序: