词法分析的实验报告.doc

《词法分析》 实验报告  目录 目录 2 1 实验目的 3 2 实验内容 3 2.1 TINY计算机语言描述 3 2.2 实验要求 3 3 此法分析器的程序实现 4 3.1 状态转换图 4 3.2 程序源码 5 3.3 实验运行效果截图 10 4 实验体会 10 实验目的 1、学会针对DFA转换图实现相应的高级语言源程序。 2、深刻领会状态转换图的含义，逐步理解有限自动机。 3、掌握手工生成词法分析器的方法，了解词法分析器的内部工作原理。 实验内容 TINY计算机语言描述 TINY计算机语言的编译程序的词法分析部分实现。 从左到右扫描每行该语言源程序的符号，拼成单词，换成统一的内部表示（token）送给语法分析程序。 为了简化程序的编写，有具体的要求如下： 1、数仅仅是整数。 2、空白符仅仅是空格、回车符、制表符。 3、代码是自由格式。 4、注释应放在花括号之内，并且不允许嵌套 ＴＩＮＹ语言的单词 保留字 特殊符号 其他 if + 标识符 （一个或更多的字母） then - else * end / repeat = 数 （一个或更多的数字） until read { write } ; 实验要求 要求实现编译器的以下功能 1、按规则拼单词,并转换成二元式形式 2、删除注释行 3、删除空白符 (空格、回车符、制表符) 4、列表打印源程序，按照源程序的行打印，在每行的前面加上行号，并且打印出每行包含的记号的二元形式 5、发现并定位错误 词法分析进行具体的要求 1、记号的二元式形式中种类采用枚举方法定义；其中保留字和特殊字符是每个都一个种类，标示符自己是一类，数字是一类；单词的属性就是表示的字符串值。 2、词法分析的具体功能实现是一个函数GetToken()，每次调用都对剩余的字符串分析得到一个单词或记号识别其种类，收集该记号的符号串属性，当识别一个单词完毕，采用返回值的形式返回符号的种类，同时采用程序变量的形式提供当前识别出记号的属性值。这样配合语法分析程序的分析需要的记号及其属性，生成一个语法树。 3、标示符和保留字的词法构成相同，为了更好的实现，把语言的保留字建立一个表格存储，这样可以把保留字的识别放在标示符之后，用识别出的标示符对比该表格，如果存在该表格中则是保留字，否则是一般标示符。 此法分析器的程序实现 状态转换图 图1 TINY语言的确定有限自动机（DFA） 程序源码 #includeiostream using namespace std; #includefstream #includestring #includeiomanip class CA { public: void getToken(); //识别标识符 void preDo(char ); //预处理源程序 void display(); //打印出 CA() { m=n=0; } private: long count2; char ID[10][10]; //符号表 int m; //设m为符号表中已有的标识符的个数 char Cons[10][10]; //常数表 int n; //设n为常数表中已有的常数的个数 char buffer1[99999]; bool isDigit(char);//检查是否为数字 bool isLetter(char);//检查是否为字符 int InsertID(char *strToken);//添加符号 int InsertConst(char *strToken);//添加符号 int Search(char a[][10],const char *,int ); //二分查找 }; //enum variety{标识符,数字,关键字1,关键字2,关键字3,关键字4,关键字5,关键字6,关键字7,关键字8,特殊符号1, // 特殊符号2,特殊符号3,特殊符号4,特殊符号5,特殊符号6,特殊符号7,特殊符号8,特殊符号9,特殊符号10}; //关键字bi编码 1 2 3 4 5 6 7 8 char K[18][10]={else,end,if,read,repeat,then,until,write, %,*,+,-,/,:,;,,=,}; bool CA::isDigit(char c) { if(c=9c=0) return true; else return false; } bool CA::