编译原理：词法分析实验.pdfVIP

编译原理：词法分析实验 实验⽬的： （1）熟悉 C 语⾔的词法规则，了解编译器词法分析器的主要功能和实现技术，掌握典型词法分析器构造⽅法，设计并实现 C 语⾔词法分 析器； （2）了解 Flex ⼯作原理和基本思想，学习使⽤⼯具⾃动⽣成词法分析器； （3）掌握编译器从前端到后端各个模块的⼯作原理，词法分析模块与其他模块之间的交互过程。 实验内容： 根据 C 语⾔的词法规则，设计识别 C 语⾔所有单词类的词法分析器的确定有限状态⾃动机，并使⽤ Java、C\C++或者 Python 其中任何 ⼀种语⾔，采⽤程序中⼼法或者数据中⼼法设计并实现词法分析器。词法分析器的输⼊为 C 语⾔源程序，输出为属性字流。 实验要求： 基于⽰例实现，对于如下的测试程序 scanner_example.c： int sum(int a, int b) { return a + b; } 输出的属性字流存储在 scanner_example.tokens ⽂件中，具体内容见下： [@0,0:2= ‘int’, ‘int’,1:0] [@1,4:6= ‘sum’,,1:4] [@2,8:8=’(’,’(’,1:8] [@3,10:12= ‘int’, ‘int’,1:10] [@4,14:14= ‘a’,,1:14] [@5,16:16=’,’,’,’,1:16] [@6,18:20= ‘int’, ‘int’,1:18] [@7,22:22= ‘b’,,1:22] [@8,24:24=’)’,’)’,1:24] [@9,26:26=’{’,’{’,1:26] [@10,28:33= ‘return’, ‘return’,1:28] [@11,35:35= ‘a’,,1:35] [@12,37:37=’+’,’+’,1:37] [@13,39:39= ‘b’,,1:39] [@14,41:41=’;’,’;’,1:41] [@15,43:43=’}’,’}’,1:43] [@16,47:46=’’,,2:0] 在这个输出的 token 流中，每⾏为⼀个 token，以@开头的数字表⽰ token 的序号，紧接着的 xx:xx 表⽰ token ⽂本对应的开始列和结束 列， “=”后⾯给出了这个范围之内 token 的具体⽂本， “”之内表⽰ token 的类型，最后⼀个数字对 xx:xx 表⽰起始⾏和起始列。需 要说明的是，在这个例⼦中，运算符等的类型就是其⾃⾝，属性流的最后放置了⼀个 “EOF”表⽰属性字的结束位置。 本实验所⽤到的⼯具是flex，，，，代码见下： %{ #include stdio.h #include stdlib.h #include string.h int toke=0; int line=0; int len ,fin ; FILE *fp ; %} DIGIT [0-9] OINTEGER [1-9]{DIGIT}* INTEGER (+|-)?{DIGIT}+ DECIMAL {INTEGER}.{DIGIT}+ FLOAT {INTEGER}.{DIGIT}+(e((+|-){OINTEGER})?)? LETTER [a-zA-Z] IDENTIFIER ({LETTER} |_)({LETTER} |_ |{DIGIT})* COMMENT (/*|*).* KEYWORD (auto|break|case|char|const|continue|default|do|double|else|enum|extern|float|for|goto|if|inline|int|long|register| restrict|return|short|signed|sizeof|static|struct|switch|typedef|union|unsigned|void|volatile|while) BRACKET ([|]|(|)|{|}|.|-|++|--||*|+|-|~|!|/|%|||||=|=|==|!=|^|||||||?|:|;|...|=|*=|/=|%=|+= BRACKET ([|]|(|)|{|}|.|-|++|--||*|+|-|~|!|/|%|||||=|=|==|!=|^|||||||?|:|;|...|=|*=|/=|%=|+=