编译原理课件-词法分析.pptxVIP

词法分析;词法分析;3.1 对于词法分析器的要求;输出的单词符号的表示形式: (单词种别，单词自身的值) 单词种别通常用整数编码表示。 若一个种别只有一个单词符号，则种别编码就代表该单词符号。假定基本字、运算符和界符都是一符一种。 若一个种别有多个单词符号，则对于每个单词符号，给出种别编码和自身的值。 标识符单列一种；标识符自身的值表示成按机器字节划分的内部码。 常数按类型分种；常数的值则表示成标准的二进制形式。;例 FORTRAN程序;助忆符：直接用编码表示不便于记忆，因此用助忆符来表示编码。;例 C程序;二、词法分析器作为一个独立子程序;词法分析器;词法分析器的结构; WhatALong…Word ;二、单词符号的识别:超前搜索;几点限制——不必使用超前搜索;三、状态转换图;识别标识符的状态转换图;词法分析器设计流程;1;3 状态转换图的实现 思想：每个状态结对应一小段程序。 做法: 1)对不含回路的分叉结，可用一个CASE语句或一组IF-THEN-ELSE语句实现 ;3 状态转换图的实现 2)对含回路的状态结，可对应一段由WHILE语句构成的程序.;3 状态转换图的实现 3)终态结表示识别出某种单词符号，因此，对应语句为 RETURN (C，VAL) 其中，C为单词种别，VAL为单词自身值.;全局变量与过程 1)ch 字符变量、存放最新读入的源程序字符 2)strToken 字符数组，存放构成单词符号的字符串 3)GetChar 子程序过程，把下一个字符读入到 ch 中 4)GetBC 子程序过程，跳过空白符，直至 ch 中读入一非空白符 5)Concat 子程序，把ch中的字符连接到 strToken ;6)IsLetter和 IsDisgital 布尔函数，判断ch中字符是否为字母和数字 7) Reserve 整型函数，对于 strToken 中的字符串查找保留字表，若它是保留字则给出它的编码，否则回送0 8) Retract 子程序，把搜索指针回调一个字符位置 9)InsertId 整型函数，将strToken中的标识符插入符号表，返回符号表指针 10)InsertConst 整型函数过程，将strToken中的常数插入常数表，返回常数表指针。 ;int code, value; strToken := “ ”; /*置strToken为空串*/ GetChar(); GetBC(); if (IsLetter()) begin while (IsLetter() or IsDigit()) begin Concat(); GetChar(); end Retract();//搜索指针回调 code := Reserve(); //判断是否为保留字 if (code = 0) //标识符 begin value := InsertId(strToken); return ($ID, value); end else return (code, -); //保留字 end;else if (IsDigit()) begin while (IsDigit()) begin Concat( ); GetChar( ); end Retract(); value := InsertConst(strToken); return($INT, value); end else if (ch =‘=’) return ($ASSIGN, -); else if (ch =‘+’) return ($PLUS, -);;else if (ch =‘*’) begin GetChar(); if (ch =‘*’) return ($POWER, -); Retract(); return ($STAR, -); end else if (ch =‘;’) return ($SEMICOLON, -); else if (ch =‘(’) return ($LPAR, -); else if (ch =‘)’) return ($RPAR, -); else ProcError( ); /* 错误处理*/;将状态图的代码一般化;FA;3.3 正规表达式与有限自动机;∑*的子集U和V的连接（积）定义为 UV＝{ ?? | ??U ??V } V自身的 n次积记为 Vn=VV…V 规定V0={?}，令 V*=V0∪V1∪V2∪V3∪… 称V*是V的闭包; 记 V＋＝VV* ，称V+是V的正规闭包。 ;3.3.1 正规式和正规集;正规式和正规集的递归定义： 对