编译原理课程设计词法分析器文档.doc

2011—2012学年第一学期  目 录 第 1 节 课程设计目的 1 第 2 节 课程设计要求 1 第 3 节 课程设计内容 2 第 4 节 状态转换图 4 第 5 节 实现工具 4 第 6 节 实现函数 4 第 7 节 测试结果 5 第 8 节 实验源代码 6 第 9 节 参考文献 9 致谢 感设计目的 ①理解词法分析器的基本功能。词法分析的任务是：从左至右逐个字符地对源程序进行扫描，产生一个个的单词符号（token），把作为字符串的源程序改造成 单词符号串的中间程序。因此，词法分析是编译的基础。 ②理解词法规则的描述方法。程序设计语言一般可以用标识符、关键字、运算符、分隔符、常量、字符串和注释符来描述 ④理解状态转换图及其实现。一个状态转换图可用于识别（或接受)一定的字符。 大多数程序语言的单词符号都可以用转换图予以识别。 转换图非常易于用程序实现，最简单的办法是让每个状态结对应一小段程序。 ④能够编写简单的词法分析器。 2.课程设计的要求 手工构造一个简单的词法分析程序, 能够识别标识符、整数、关键字、算符、界符。 ①画出识别单词的状态转换图。 (若状态转换图过于复杂,可以只画出主要部分；若依旧复杂，可只识别标识符和整数) ②根据状态转换图手工构造词法分析程序。从以下方法中选一： 词法分析器作为独立的一遍。 词法分析结果输出到屏幕上或存入文件。 词法分析器作为一个子程序被语法分析器调用。 每次调用返回一个单词 同时将单词及属性存入符号表 ③ 实现状态转换图。从以下方法中选一： 直接转向法 表驱动法 四、选做实验 ? 使用缓冲技术 3.课程设计内容 程序语言的单词符号一般可分为下列五种。 (1)关键字 是由程序语言定义的具有固定意义的标志符。本程序定义 char,short,int,unsigned,long,float,double,struct,union,void,enum,const,typedef,auto,static,break,case,continue,default,do,else,for,if,return,switch,while,sizeof,printf,FILE,fopen,NULL,fclose,exit,read,closef，printf为关键字。 （2）标识符 用来表示各种名字，如变量名、数组名、过程名等等。 （3）常数 常数的类型一般有整型、实型、布尔型、文字型等等。例如，100，3.14159。 （4）运算符 如+、-、*、/、=、=、== 等等 （5）界符 如[、]、{、}、(、)、;、,、.等等。 具体实现过程： 用c++编写词法分析程序，从文件中读入预分析的源程序经词法分析将结果写入指定文件中。 在设计中预分析文件保存在test.txt中，输出结果保存在result.txt中。 本程序实现了 将词法分析器作为独立的一遍，词法分析结果存入文件。 用直接转向法实现状态转换图。 ?使用缓冲技术。 本程序能够识别简单的运算符，界符，常数，标示符和关键字。其中关键字由程序所给的关键字表kt（key table）内容指定。如有未涉及的关键字还可以通过修改程序中表内容扩展。对未定义的字符（不属于界符，运算符和常数）输出 并显示为“其他字符”。文中特别定义了注释符号，换行符号和空格。在程序设计工程中一开始未注意将当前指针后退一位的情况，在输出程序结果时发现一些字符缺漏。通过查资料【1】发现了将指针后移的用法并解决了这个问题。设计过程中牵涉到对文件的使用如c_str(),ios:binary的用法，get（）函数的用法，fstream的两个类ifstream和ofstream的用法【2】实现文件的读写操作。 为了分析大于4kb的程序本程序使用了著名的双缓冲技术。设计思想如下 4.状态转换图如下 5.实验工具 Vc++6.0 ，win7画图工具， 6. 实现函数 void get_char (); //用于从buffer读取一个字符到C int letter (int C); //判断是否是字母 int digit (int C); //判断时候是数字或者小数点 int underline (int C); //判断时候是下划线 int reserve (string token); //判断时候是关键字 void retract (); //向前指针向后退一个 void returnout