利用LE自动生成词法分析程序.docVIP

利用LEX自动生成词法分析程序 《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机 专业的一门重要专业课程。该课程系统地向学生介绍编译程序的结构、工作流程 及编译程序各组成部分的设计原理和实现技术编译原理涉及词法分析，语法分 析，语义分析及优化设计等各方面。词法分析阶段是编译过程的第一个阶段，是 编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对 构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符 号)。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。 本课设是用lex自动生成简单的c语言词法分析程序。 关键字：lex c语言词法分析程序 引言 词法分析程序是对代码中单词的分析，是编译过程的第一阶段，在这个阶段中 从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然 后根据构词规则识别单词(也称单词符号或符号)。Lex是一个广泛的使用工具， UNIX系统中使用lex命令调用。它用于构造各种各样的语言词法分析程序。词 法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。 下面将论述lex构造简单C语言的词法分析程序，深刻地去理解词法分析。 1概述 1.1设计目标 对C语言设计并实现一个简单的词法分析器，要求能够掌握编译原理的基木 理论，，理解编译程序的基本结构，掌握编译各阶段的基本理论和技术，掌握编 译程序设计的棊本理论和步骤.，増强编写和调试高级语言源程序的能力，掌握 词法分析的基本概念和实现方法，熟悉C语言的各种Token。 1.2设计内容 用lex对C语言设计并实现一个简单的词法分析器，并用C语言代码进行测 试，用二元式的方式给出测试结果。 2设计原理 基于Parser Genarator的词法分析器构造方法。Lex输入文件由3个部分组成: 定义集(definition)，规则集(rule)和辅助程序集(auxiliary routine)或用户程 序集(user routine)。这三个部分由位于新一行第一列的双百分号分开，因此， Lex输入文件的格式如下 {definitions} %% {rules} %% {auxiliary routines} 而且第一部分用“％{”和“％}”括起来。 第一和第三个部分为C语言的代码和函数定义，第二个部分为一些规则。 2.1正规式定义 定义正则表达式如下 ID = letter letter* NUM = digit digit* Letter = a|...|z|A|...|Z Digit = 0|...|9 Keyword = else|if|int|retum|void|while Special symbol =+|-|*|/||=|〉|〉=|==|!=|=|;|，| (|) |[|]|{|}|/*|*/ White space = “” Enter = \n 在lex中的构造 letter [A-Za-z] digit [0-9] id({letter}|[J)({letter}|{digit}|[J)* error_id ({digit})+({letter})+ num {digit} + whitespace [ \t]+ enter [\n]+ 2.2转换规则定义 在Lex中的规则定义构造 定义识别保留字规则 int|’’elseTreturnTvoidT’ir|’while {Upper(yytext,yyleng); printf(n%d 行 ”，lineno); printf(H%s reserved word\n，yytext);}//保留字 定义识别数字规则 {num} {printf(’’％d 行 ’’，lineno); printf(H%s NUM\nH,yytext);}//数字 定义识别专用符号规则 ft ItI. ft It I. {printf(n%d 行 ”，lineno); printf(%s special symbol\n’’，yytext);}//特殊符号 定义识别标识符规则 {id} {printf(”％d 行 ”，lineno); printf(H%s ID\n’’，yytext);}//标识符 定义识别错误的字符串规则 当开头为数字的后面为字母的字符串时，是错误的标识符。 {error_id} {printf(nerror:%s\nn,yytext);}//以数字开头的字符自动报错 定义忽略空格规则 {whitespace} {/* skip whitespace */}//忽略空格 定义忽略冋车规则 {enter} {1 ineno++;} //遇到回车自动加行号忽略 2.3辅助程序 辅助程序集中包括 主函数ma