《1.04词法分析.pptVIP

第五章 词法分析 概 述 编译程序需要在单词级别上来分析和翻译源程序，所以首先要识别出单词。 词法分析的任务是： 从左至右扫描源程序的字符串，按照词法规则（正则文法规则）识别出一个个正确的单词，并转换成该单词相应的二元式（种别码、属性值）交给语法分析使用。 因此，词法分析是编译的基础。执行词法分析的程序称为词法分析器。 两种词法分析程序 不包括处理说明部分：仅读单词并转换成属性字，而不把单词的全部属性都识别出来。 包括处理说明部分：把单词的全部属性都识别出来 词法分析的两种处理结构 把词法分析工作单独作为一趟的好处 可使整个编译程序的结构更简洁、清晰和条理化： 词法分析比语法分析要简单得多，可用更有效的特殊方法和工具进行出理。有些语言的词法分析工作比较别扭，如FORTRAN这种受书写格式限制的语言，识别其单词符号便甚为曲折和费时，把词法分析作为一趟独立出来就有利于集中力量考虑这些枝节问题。 增强编译程序的可移植 在同一个语言的不同实现中，或多或少会涉及到与设备有关的特征，如采用ASCII还是其它的字符编码，可置于词法分析程序中解决而不会影响编译程序其它成分的设计。 编译程序的效率会得到改进 编译程序的大部分时间是花费在扫描字符以把单词符号分离出来，若把词法分析独立出来，则可采用专门的读字符和分离单词的技术可提高编译速度，而且可建立词法分析程序的自动构造工具 这并不意味着必须要把词法分析工作单独作为一趟 把词法分析工作作为子程序 实验一 词法分析 实验目的： 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。 估计实验时间： 课余准备15小时 上机二次4小时； 完成实验报告5小时。 如源程序为C语言。输入如下一段： main() { int a=-5,b=4,j; if(a=b) j=a-b; else j=b-a; } 一、识别各种单词符号 程序语言的单词符号一般分为五种： 关键字（保留字/基本字）if、while、begin… 标识符：常量名、变量名… 常数：34、56.78、true、‘a’、… 运算符：+、-、*、/、〈、and、or、…. 界限符：， ； （ ） { } /*… 识别单词：掌握单词的构成规则很重要 标识符的识别：字母|下划线+(字母/数字/下划线) 关键字的识别：与标识符相同，最后查表 常数的识别 界符和算符的识别 单词的构成规则用状态转换图表示 大多数程序设计语言的单词符号都可以用转换图来识别 词法分析器的输出形式 词法分析器输出的单词符号常常表示为二元式：（单词种别，单词符号的属性值） 单词种别通常用整数编码，如1代表关键字，2代表标识符等 关键字可视其全体为一种，也可以一字一种。采用一字一种得分法实际处理起来较为方便。 标识符一般统归为一种 常数按类型（整、实、布尔等）分种 运算符可采用一符一种的方法。 界符一般一符一种的分法。 二、 超前搜索方法 词法分析时，常常会用到超前搜索方法。 如当前待分析字符串为“a+”，当前字符为“”，此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？ 显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’，这时可知应将’’解释为大于运算符。但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。又比如：‘+’分析为正号还是加法符号 三、预处理 预处理工作包括对空白符、跳格符、回车符和换行符等编辑性字符的处理，及删除注解等。由一个预处理子程序来完成。 词法分析器的设计 设计方法： 写出该语言的词法规则。 把词法规则转换为相应的状态转换图。 把各转换图的初态连在一起，构成识别该语言的自动机 设计扫描器 把扫描器作为语法分析的一个过程，当语法分析需要一个单词时，就调用扫描器。 扫描器从初态出发，当识别一个单词后便进入终态，送出二元式 取单词程序框图 void main() { if ((fp=fopen(“example.c”,“r”))==NULL) /*只读方式打开一个文件*/ printf(error); else { cbuffer = fgetc(fp); /*fgetc( )函数：从磁盘文件读取一个字符*/ while (cbuffer!=EOF) { if(cbuffer==‘ ’||cbuffer==‘\n’) /*掠过空格和回车符*/