编译原理(第四版)第2篇 章词法分析.pptVIP

第2章 词法分析;任务：;　　词法分析可以采用如下两种处理结构： 　　(1) 把词法分析程序作为主程序。将词法分析工作作为独立的一遍来完成，即把词法分析与语法分析明显分开，由词法分析程序将字符串形式的源程序改造成单词符号串形式的中间程序，以这个中间程序作为语法分析程序的输入。在这种处理结构中，词法分析和语法分析是分别实现的，如图2–1(a)所示。 　　(2) 把词法分析程序作为语法分析程序调用的子程序。在进行语法分析时，每当语法分析程序需要一个单词时便调用词法分析程序，词法分析程序每一次调用便从字符串源程序中识别出一个单词交给语法分析程序。在这种处理结构中，词法分析和语法分析实际上是交替进行的，如图2–1(b)所示。 　　由于把词法分析器安排成一个子程序比较自然，因此，词法分析程序通常采用第二种处理结构。;图2–1 词法分析的两种处理结构 (a) 词法分析程序作为主程序； (b) 词法分析程序作为子程序 ;2.1 词法分析器设计方法;2.1 词法分析器设计方法;2.1 词法分析器设计方法;2.1 词法分析器设计方法;2.1 词法分析器设计方法;2.1 词法分析器设计方法;2.2 一个简单的词法分析器实例;2.2一个简单的词法分析器实例;2.2.2 C语言子集对应的状态转换图 　　在设计的状态转换图中，首先对输入串做预处理，即剔除多余的空白符(在实际的词法分析中，预处理还包括剔除注释和制表换行符等编辑性字符的工作)，使词法分析工作既简单又清晰。其次，将保留字作为一类特殊的标识符来处理，也即对保留字不专设对应的状态转换图，当转换图识别出一个标识符时就去查对表2.1的前五项，确定它是否为一个保留字。当然，也可以专设一个保留字表来进行处理。 ;2.2.3 状态转换图的实现 　　状态转换图非常容易用程序实现，最简单的办法是让每个状态对应一小段程序。对于图2–5所示的状态转换图，我们首先引进一组变量和过程如下： 　　(1) character：字符变量，存放最新读入的源程序字符。 　　(2) token：字符数组，存放构成单词符号的字符串。 　　(3) getbe( )：若character中的字符为空白，则调用getchar( )，直至character为非空白字符为止。 ???　(4) concatenation( )：将token中的字符串与character中的字符连接并作为token中新的字符串。;　　(5) letter( )和digit( )：判断character中的字符是否为字母和数字的布尔函数，是则返回true，否则返回false。 　　(6) reserve( )：按token数组中的字符串查表2.1中的前五项(即判别其是否为保留字)，若是保留字则返回它的编码，否则返回0值。 　　(7) retract( )：扫描指针回退一个字符，同时将character置为空白。 　　(8) buildlist( )：将标识符登录到符号表中或将常数登录到常数表中。 　　(9) error( )：出现非法字符，显示出错信息。;　　相对于图2–5的词法分析器构造如下： 　　token= ; /*对token数组初始化*/ 　　s=getchar ( ); 　　getbe ( ); /*滤除空格*/ 　　switch (s) 　　{ 　　case a: 　　case b: 　　… 　　case z:;　while (letter ( )‖digit ( )) 　{ 　concatenation ( ); 　　　/*将当前读入的字符送入token数组*/ 　getchar ( ); 　} 　retract ( ); /*扫描指针回退一个字符*/ 　c=reserve ( ); ;　if (c==0) 　{ 　buildlist ( ); /*将标识符登录到符号表中*/ 　return (id，指向id的符号表入口指针); 　} 　else 　return (保留字码，null); 　break; 　case 0: 　case 1: 　…;　case 9: 　while (digit ( )) 　{ 　concatenation ( ); 　getchar ( ); 　} 　retract ( ); 　buildlist ( ); /*将常数登录到常数表中*/ 　return (num，num的常数表入口指针); 　break; 　case +: 　return (+，null); 　break;;　case ?: 　return (?，null); 　break;