實验项目一指导(上)词法分析程序的设计与实现.docVIP

实验项目一指导（上） 词法分析程序的设计与实现 开发与测试建议： 按模块，逐步地增量开发，尽早测试模块 数据结构设计 属性字定义 返回结果：行号，二元形式序列 各类表 机内表示对照表（即各符号的分类编号，请参看教材p91的表3-4） 标识符表（即自定义的各种变量和函数，需要根据文法检测是否有错误，文法 ID=letter（letter| digit）*） 关键字表 整数表（暂不考虑实数，文法 NUM=digit digit *） 各类表的查询程序 思路：1）用map结构 2）switch case 或者if else 3）一维数组，写一个搜索程序 源文件结构： 头文件word_scanner.h 存放数据结构和各函数模块的声明；注意，不要在头文件内定义变量或者写出函数的具体定义，否则可能导致连接LINK错误。 源文件word_scanner.cpp 存放各函数的具体定义 主程序文件scanner.cpp 用来调用和测试各模块 实现词法分析的程序，以函数的形式放在word_scanner.h和word_scanner.cpp中。好处有二：1）先声明再使用函数，不用担心调用前没有声明；2）方便复用代码 //word_scanner.h 文件内容示例 #ifndef WORD_SCANNER_H //防止被嵌套include #define WORD_SCANNER_H #include iostream #include vector #include fstream #include string using namespace std; //如果没有此语句会如何？ //============================================================ //基本数据结构 //============================================================ //属性字，结构为二元组（类别，值） typedef struct { //int isSpecial; //是否特殊符号 //int isOperator; //是否操作符号 //int priority_level; //操作符优先级 int class_id; //分类编号 string value; //符号值 } Attrib_words; //枚举类型定义的示例 /*typedef enum SYMBOL { nul, eof, plus, minus, times, slash, lparen, rparen, comma, semicolon, period, becomes, eql, neq, lss, gtr, leq, geq, number, ident, beginsym, callsym, constsym, dosym, endsym, ifsym, oddsym, proceduresym, readsym, thensym, varsym, whilesym, writesym } SYMBOL; */ //怎样建属性值表，怎样查表？ // (10, +), (11, for), (2, variable一般变量) //============================================================ //基本功能声明 //============================================================ /* 函数1：读程序源文件，提取文本文件中的信息，结果放入字符串缓冲区 */ void ReadSourcefile(); //函数2：分词模块，从位置begin_position开始，从缓冲区内取出一个词 //参数end_position返回结束位置，可作为下一次取词的开始位置 string getToken( string strLine, int begin_position, int end_position ); //函数3：词法分析主程序 //返回：标识符表，即所有的自定义变量与函数都放入同一个表内 //token统一的中间表示形式 void word_Scanner( string strBuffer ); //判断是不是空格、回车、换行符 bool IsBlankchar(char ch); //判断是不是字母 bool IsLetter(char ch); //判断是不是数字 bool IsDigital