实验一 词分.docVIP

实验一 词法分析 一 实验目的和要求 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 二 实验内容 （1，main）（5，（）（5，））（5，{）（1，int） （1，main） （5，（） （5，）） （5，{） （1，int） （2，a） （5，,） （2，b） （2，c） （4，=） （3, 2） （5，;） （2，a） （4，=） （3，10） （5，;） （2，b） （4，=） （2，a） （4，+） （3，20） （5，;） （2，c） （4，=） （2，a） （4，+） （2，b） （4，/） （2，c） （5， ；） （5，}） 1.1 词法分析器的功能和输出格式 词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。本实验中，采用的是一类符号一种别码的方式。 如源程序为C语言。输入如下一段： main() { int a,b,c=2; a = 10; b = a + 20; c = a + b/c; }# 要求输出如右图。 1.2 单词的BNF表示 标识符- 字母字母数字串 字母数字串-字母字母数字串|数字字母数字串| 下划线字母数字串|ε 无符号整数- 数字数字串 数字串- 数字数字串 |ε 加法运算符- + 减法运算符- - 大于关系运算符- 大于等于关系运算符- = 由此可知，需将单词分为五种： 关键字1 标识符2 常数3 运算符4 分隔符5 printf a 0 + , main b 1 _ ; int c 2 * ( if student 3 / ) then sum 4 = { else k 5 } return m 6 …. …. …. 7 = 8 = 9 != 1.3 “超前搜索”方法 词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a+”,当前字符为’’，此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’，这时可知应将’’解释为大于运算符。但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号整数等时也有类似情况。 2 程序思路 这里以开始定义的C语言子集的源程序作为词法分析程序的输入数据。在词法分析中，自文件头开始扫描源程序字符，一旦发现符合“单词”定义的源程序字符串时，将它翻译成固定长度的单词内部表示，并查填适当的信息表。经过词法分析后，源程序字符串（源程序的外部表示）被翻译成具有等长信息的单词串（源程序的内部表示），并产生两个表格：常数表和标识符表，它们分别包含了源程序中的所有常数和所有标识符。 0.定义部分：定义常量、变量、数据结构。 1.初始化：从文件将源程序全部输入到字符缓冲区中。 2.取单词前：去掉多余空白。 3.取单词后：去掉多余空白（可选，看着办）。 4.取单词：利用实验一的成果读出单词的每一个字符，组成单词，分析类型。（关键是如何判断取单词结束？取到的单词是什么类型的单词？） 5.显示结果。 3 部分函数说明 1. int lookup(char *TOKEN)? 关键字匹配函数,查询所述程序中的关键字 2. void out(int c,char *TOKEN)? 输出函数 3. void scanner(FILE *fp)? 扫描函数，扫描程序中的字符串并调用lookup函数检查是否是关键字，再调用out函数输出二元组 4.fseek（fp，-1，1） 回退一个字符 5.zimu（ch） 字母判断函数，若ch指的是字母，返回非0，否则返回0 6.shuzi（ch） 数字判断函数，若ch指的是数字，返回非0，否则返回0 7.fgetc（fp） 从数据流中区下一个字符 8.fopen? 文件打开函数，返回指向文件第一个字符的指针 三 实验过程记录及实验结果 1 程序开始定义zimu(ch)和shuzi(ch)函数时，需要直接返回ch类型的值，不需要再定义变量，而我又重复定义了变量，所以程序出现错误。 2 判断单词是关键字、标识符、整型常量、分隔符还是运算符时，关系到“回退”的概念，如果没有这个函数则运算结果会出现错误，即没有完全显示