西南交大 实验1_词法分析器.docxVIP

编译原理课程设计报告一 姓名： 学号： 专业： 班级：西南交通大学信息科学与技术学院2017年5月 25日课程设计一：手工设计C语言的词法分析器一、设计内容处理c语言源程序，过滤掉无用符号，判断源程序中单词的合法性，并分解出正确的单词，以二元组形式存放在文件中。二、设计目的通过本实验的设计更具体的理解词法分析器的工作机制。同时更理解C语言的结构体系。从而更深刻的透析编译原理过程。三、需求分析：词法分析程序又称词法分析器或词法扫描器。可以单独为一个程序；也可以作为整个编译程序的一个子程序，当需要一个单词时，就调用此法分析子程序返回一个单词，这里，作为子程序词法分析器的结构:状态转换图的程序实现为便于程序实现,假设每个单词间都有界符或运算符或空格隔开,并引入下面的全局变量及子程序:1) ch存放最新读进的源程序字符2) strToken存放构成单词符号的字符串3) Buffer字符缓冲区4）struct keyType存放保留字的符号和种别四、算法设计简要描述 要想手工设计词法分析器，实现C语言子集的识别，就要明白什么是词法分析器，它的功能是什么。词法分析是编译程序进行编译时第一个要进行的任务，主要是对源程序进行编译预处理（去除注释、无用的回车换行找到包含的文件等）之后，对整个源程序进行分解，分解成一个个单词，这些单词有且只有五类，分别是标识符、保留字、常数、运算符、界符。以便为下面的语法分析和语义分析做准备。可以说词法分析面向的对象是单个的字符，目的是把它们组成有效的单词（字符串）；而语法的分析则是利用词法分析的结果作为输入来分析是否符合语法规则并且进行语法制导下的语义分析，最后产生四元组(中间代码)，进行优化（可有可无）之后最终生成目标代码。可见词法分析是所有后续工作的基础，如果这一步出错，比如明明是‘=’却被拆分成‘’和‘=’就会对下文造成不可挽回的影响。因此，在进行词法分析的时候一定要定义好这五种符号的集合。下面是我构造的一个C语言子集。第一类：标识符 letter(letter | digit)* 无穷集第二类：常数 (digit)+ 无穷集第三类：保留字(32)auto break case char const continue default do double else enum extern float for goto if int long register return short signed sizeof static struct switch typedef union unsigned void volatile while第四类：界符 ‘/*’、‘//’、 () { } [ ] 等第五类：运算符 、=、、=、=、+、-、*、/、^、等对所有可数符号进行编码：{$ID,0},{$INT,1},{auto,2},{break,3},{case,4},。。。。。。。。。{-,36},{*,37},{/,38},{%,39},{,,40},{;,41},{(,42},{),43},{?,44},{clear,45},{#,46}{常数99 ,数值}{标识符100 ，标识符指针}上述二元组中左边是单词的符号，右边为其种别码，其中常数和标识符有点特别，因为是无穷集合，因此常数用自身来表示，种别码为99，标识符用标识符符号表的指针表示（当然也可用自身显示，比较容易观察），种别码100。保留字表的设计结构：基本功能状态转换：二元组输出到文件可以用ofstream（写操作（输出）的文件类）函数来实现五、程序流程1.词法分析程序读入语句直到语句末尾。2.对读取的文件进行预处理，从头到尾进行扫描，去除//和/* */的内容，以及一些无用的、影响程序执行的符号如换行符、回车符、制表符等。但是千万注意不要在这个时候去除空格，因为空格在词法分析中有用，比如说inti=3;这个语句，如果去除空格就变成了“inti=3”,这样就失去了程序的本意，因此不能在这个时候去除空格。3.选下面就要对源文件从头到尾进行扫描了，从头开始扫描，这个时候扫描程序首先要询问当前的字符是不是空格，若是空格，则继续扫描下一个字符，直至不是空格，然后询问这个字符是不是字母，若是则进行标识符和保留字的识别；若这个字符为数字，则进行数字的判断。否则，依次对这个字符可能的情况进行判断，若是将所有可能都走