河北工业大学词法分析实验报告.docxVIP

实验一 词法分析程序实现 一、实验设计 基本实验题目：若某一程序设计语言中的单词包括五个关键字begin、end、if、then、else；标识符；无符号常数；六种关系运算符；一个赋值符和四个算术运算符，试构造能识别这些单词的词法分析程序（各类单词的分类码参见表I）。 输入：由符合和不符合所规定的单词类别结构的各类单词组成的源程序文件。 输出：把所识别出的每一单词均按形如（CLASS，VALUE）的二元式形式输出，并将结果放到某个文件中。对于标识符和无符号常数，CLASS字段为相应的类别码的助记符；VALUE字段则是该标识符、常数的具体值；对于关键字和运算符，采用一词一类的编码形式，仅需在二元式的CLASS字段上放置相应单词的类别码的助记符，VALUE字段则为“空”。 表I 语言中的各类单词符号及其分类码表 单词符号类别编码类别码的助记符单词值begin1BEGINend2ENDif3IFthen4THENelse5ELSE标识符6ID字母打头的字母数字串无符号常数7UCON机内二进制表示8LT=9LE=10EQ11NE12GT=13GE:=14IS+15PL-16MI*17MU/18DI 实现方法： 在一个程序设计语言中，一般都含有若干类单词符号，为此可首先为每类单词建立一张状态转换图，然后将这些状态转换图合并成一张统一的状态图，即得到了一个有限自动机，再进行必要的确定化和状态数最小化处理，最后添加当进行状态转移时所需执行的语义动作，就可以据此构造词法分析程序了。 为了使词法分析程序结构比较清晰，且尽量避免某些枝节问题的纠缠，我们假定要编译的语言中，全部关键字都是保留字，程序员不得将它们作为源程序中的标识符；在源程序的输入文本中，关键字、标识符、无符号常数之间，若未出现关系和算术运算符以及赋值符，则至少须用一个空白字符加以分隔。作了这些限制以后，就可以把关键字和标识符的识别统一进行处理。即每当开始识别一个单词时，若扫视到的第一个字符为字母，则把后续输入的字母或数字字符依次进行拼接，直至扫视到非字母、数字字符为止，以期获得一个尽可能长的字母数字字符串，然后以此字符串查所谓保留字表（此保留字表要事先造好），若查到此字符串，则取出相应的类别码；反之，则表明该字符串应为一标识符。 采用上述策略后，针对表I中的部分单词可以参考教材P80的图3-22（见图1）和P81的程序3-4，用C语言编写出符合以上几项要求的一个扫描器程序。按照实验题目的具体要求将其中的整常数改为无符号常数。关于无符号数的文法可参见教材P49，其识别方法参考P51的图3-3（见图2）、P55的表3-1（见表II）和P57的程序3-3。 图1 识别表I所列语言中的部分单词的DFA及相关的语义过程 图1中所出现的语义变量及语义函数的含义和功能说明如下： 函数GETCHAR：每调用一次，就把扫描指示器当前所指示的源程序字符送入字符变量ch，然后把扫描指示器前推一个字符位置。 字符数组TOKEN：用来依次存放一个单词词文中的各个字符。 函数CAT：每调用一次，就把当前ch中的字符拼接于TOKEN中所存字符串的右边。 函数LOOKUP：每调用一次，就以TOKEN中的字符串查保留字表，若查到，就将相应关键字的类别码赋给整型变量c；否则将c置为零。 函数RETRACT：每调用一次，就把扫描指示器回退一个字符位置（即退回多读的那个字符）。 函数OUT：一般仅在进入终态时调用此函数，调用的形式为OUT(c，VAL)。其中，实参c为相应单词的类别码助记符；实参VAL为TOKEN（即词文）或为空串。函数OUT的功能是，在送出一个单词的内部表示之后，返回到调用该词法分析程序的那个程序。 图2所示为上述文法的状态转换图，其中编号0、1、2、…、6分别代表非终结符号无符号数、余留无符号数、十进小数、小数部分、指数部分、整指数及余留整指数。 图2 文法G1[无符号数]的状态转换图 无符号数识别中的语义处理方法详见教材P56。表II即为嵌入了语义动作的状态矩阵，其功能是在扫描源程序字符串的过程中，把识别出的字符串形式的无符号数的值，逐步转换为相应的二进制整数（ICON）或二进制浮点数（FCON）的内部形式。（注：考虑能否采用C语言的库函数实现此语义处理工作；是否可将无符号常数这一类单词进一步细分成整型常数和浮点型常数两类单词。） 根据表II所示的加入了语义过程说明的识别无符号数的状态矩阵，编写词法分析程序，部分实现代码如程序二所示。 表II 包含语义处理过程的识别无符号数的状态矩阵 二、程序代码 在V