词法分析器 Lex实验报告.docVIP

Xxxxx大学xxxxxx学 院 实 验 报 告 班级：第 周 编译原理课程设计? 实验课时 实验项目 基于Lex的词法分析器 实验时间 实验目的 学习基于Lex构造词法分析器的方法。 学习C Minus的词法结构 。 实验环境 Parser Generator VC++ 6.0 实验内容（算法、程序、步骤和方法） 1.基于Lex构造词法分析器的方法 1.1 Lex文件格式 Lex文件分成三个部分，分别为definitions、rules以及auxiliary routines，中间用%%分割开。 Definitions包括要加入到生成的C程序的头部的代码，包括#include语句、#define语句及一些全局变量的定义。同时，正则表达式可以在这个部分定义，如identifier的定义： letter [_a-zA-Z] identifier {letter}{letter}* rules部分定义，它包括一串正则表达式或字符，后面加上当表达式识别出后，采取的动作。 Auxiliary部分包括rules部分使用的一些辅助函数，同时，main函数也在其中定义。 1.2 C Minus词法 C Minus中的Token包括保留字、特殊符号、ID和NUM、以及注释，其中，保留字和特殊符号的形式是固定的，可以在Lex中直接以字符串的形式给出，而ID和NUM可以由复数种形式，并具有正则表达式： ID = letter letter* NUM = digit digit* letter = a|..|z|A|..|Z digit = 0|..|9 因此这四个Symbol在Lex中给出正则表达式。 注释部分进行如下处理： 如果识别出字符串“/*”则一直读入字符，知道遇到了*,如果一直遇到“*”则一直读入字符，如果遇到“/”则结束，否则继续等待“*”。 1.2 数据结构 Token具有两个值，包括其类型TokenType和值TokenValue。因此定义一个enum枚举类型来表示Token类型。 typedef enum {/* keywords */ ELSE, IF, INT, RETURN, VOID, WHILE, /* pecial symbols */ ADD, SUBTRACT, MULTIPLY, DIVIDE, LESS, LE, GREATER, GE, EQUAL, ASSIGN, NE, SEMICOLON, COMMA, LPARENTHESIS, RPARENTHESIS, LCURVE, RCURVE, LBRACKET, RBRACKET, /* COMMENTS */ LCOMMENT, RCOMMENT, /* ID and NUM */ ID, NUM, /* white space */ WHITESPACE, NEWLINE, /* error */ ERROR, /* empty */ EMPTY, /* unknown */ UNKNOWN, /* end */ END } TokenType; 并定义一个char* TokenValue来记录值 在Lex中，每识别出来一个Token，返回其对应的枚举值即可，yytext中存储的既是Token对应的value值，将其复制到TokenValue中即可。 数据记录 和计算 /* a program to perform selection sort on a 10 element array. */ int x[10]; int minloc( int a[], int low, int high ) { int i; int x; int k; k = low; x = a[low]; i = low + 1; while ( i high ) { if ( a[i] x ) { x = a[i]; k = i; } } return k; } 结 论 （结 果） {VOID, void} {ID, sort} {LPARENTHESIS, (} {INT, int} {ID, a} {LBRACKET, [} {RBRACKET, ]} {COMMA, ,} {INT, int} {ID, low} {COMMA, ,} {INT, int} {ID, high} {RPARENTHESIS, )} {LCURVE, {} {INT, int} {ID, i} {SEMICOLON, ;} {INT, int} {ID, k} {SEMICOLON, ;}