第三章　词法分析2.pptVIP

* 编译原理 * Using tokens with values, simple2.lex. * 编译原理 * Lex程序的例子 %{ /* 常量LT, LE, EQ, NE, GT, GE, WHILE, DO, ID, NUMBER, RELOP的定义*/ %} /* 正规定义 */ delim [ \t \n ] ws {delim}+ letter [A ?Za ? z] digit [0?9] id {letter}({letter}|{digit})* number {digit}+(\ .{digit}+)?(E[+\?]?{digit}+)? * 编译原理 * 例---翻译规则部分 %% {ws} {/* do nothing */} while {return (WHILE);} do {return (DO);} {id} {yylval = install_id ( ); return (ID);} {number} {yylval = install_num( ); return (NUMBER);} “ ” {yylval = LT; return (RELOP);} “ = ” {yylval = LE; return (RELOP);} “ = ” {yylval = EQ; return (RELOP);} “ ” {yylval = NE; return (RELOP);} “ ” {yylval = GT; return (RELOP);} “ = ” {yylval = GE; return (RELOP);} * 编译原理 * 例---辅助过程部分 %% install_ id ( ) { /* 把词法单元装入符号表并返回指针。 yytext指向该词法单元的第一个字符， yyleng给出的它的长度 */ } install_num ( ) { /* 类似上面的过程，但词法单元不是标识符而是一个数 */ } * 编译原理 * lex虽然经常用来自动生成词法分析器，但是也可以用来做很多文本处理工作 例：下面是一个计算单词个数的lex 程序 * 编译原理 * 单词个数统计程序的声明 %{ int wordCount = 0; %} chars [A-za-z] numbers ([0-9])+ delim [ \n\t] whitespace {delim}+ words {chars}+ %% * 编译原理 * 单词个数统计程序中的 Lex 规则 {words} { wordCount++; /* increase the word count by one*/ } {whitespace} { /* do nothing*/ } {numbers} { /* one may want to add some processing here*/ } %% * 编译原理 * 单词个数统计程序中的 的 C 代码段 void main() { yylex(); /* start the analysis*/ printf(“No of words:%d\n”,wordCount); } * 编译原理 * example * * * * * * * * * * * * * * * * 编译原理 * 编译原理 * 3.3 词法记号的识别 例3.8　考虑文法 stmt ? if expr then stmt | if expr then stmt else stmt | ? expr ? term relop term | term term ? id | number * 编译原理 * 词法规则 digit ? [0-9] digits ? digit+ number ? digits (.digits)? (E(+|?)? digits)? letter_ ? [A-Za-z] id ? letter (letter | digit )* if ? if then ? then else ? else relop ? | = | = | | | = * 编译原理 * 过滤空白符 Scan away blank, newline, tab blank, newline and tab are abstract symbols used to express the ASCII characters of the same name. w