新编译原理及实现技术 教学课件 刘磊 第03章 词法分析.pptVIP

第三章 词法分析 主要内容： 词法分析概述 词法分析器的设计 词法分析器的实现 词法分析器自动生成 词法分析器功能 功能 读源程序的字符序列,逐个拼出单词,并构造相应的内部表示TOKEN.同时检查源程序中的词法错误. 单词 所谓单词是指语言中具有独立含义的最小的语义单位。 Token 单词的内部表示。编译程序总是用某种程序语言书写的程序，语言的操作对象只能是该语言规定的各种数据。而编译程序的操作对象是程序中的各种语法单位，因此，必须把它们表示成某种数据结构形式。 词法分析器的接口 CharList 一般程序设计语言的单词可以分为： 1) 保留字：保留字一般是由语言系统自身定义的， 通常是由字母组成的字符串。 2) 标识符：标识符一般是由字母开头，字母、数字 或其它符号的任意组合构成的。 3) 常量：用来表示各种常量。主要包括整数常数、 实数常数、字符串常量等。 4) 特殊符号：包括运算符和界限符。运算符表示程 序中算术运算、逻辑运算、字符运算、赋值运 算的确定的字符或字符串。 1) 标识符： L(L | D)* 其中L=[a-z, A-Z], D=[0-9] 2) 整数： D1D*|0, 其中D1=[1-9] 3) 特殊符号：+ | ；| ：| := | | = | … 4) 保留字： if | else | … 1. 按类构造出相应的状态转换图。 2. 合并各类单词的状态转换图，构成一个能识别语言所有单词的状态转换图。 1) 将各类单词的状态转换图的初始状态合 并为一个唯一的初始状态； 2) 化简调整状态冲突和对冲突状态重新编 号； 3) 如果有必要，增加出错状态。 状态转换矩阵法 把自动机看作一种数据结构（状态转换矩阵），由控制程序控制字符在其上运行，从而完成词法分析。转换矩阵法的优点是程序短，但占存储空间多。 State:=InitState; Read(CurrentChar); while T(State, CurrentChar)?error CurrentChar?Eof do begin State:=T(State, CurrentChar); Read(CurrentChar); end; if State?FinalStates then Accept else Error; 特点 程序短小，但占用存储空间多。 状态转换图的形式： 每个状态对应一个带标号的case语句 转向边对应goto语句 特点：程序长，但占用存储空间少 保留字的识别 1）设置保留字表 事先构造好所谓的保留字表，在进行词法分析时，把保留字也当作一般标识符来识别，然后查保留字表，若有，则把它作为保留字来处理；若没有，则按一般标识符来处理。 2）自动机单独识别 在自动机中加入识别各个保留字的状态，即把保留字和一般标识符分开来识别而不统一识别。 复合单词的识别 在程序设计语言中，有一类单词是由两个或者两个以上的符号组成的，这类单词的前缀部分也可以是一个独立的单词。在处理这类单词时要特别加以注意。 数的转换 词法分析程序应该把字符串转换成数，如“123”应该转换成123。 向前看若干个字符的处理 在有些语言里，为了识别出一个单词需要向前看好几个字符。 控制字符的处理 1.无用的空格符和制表符要删掉； 2.字符串内的空格不能删； 3.换行符不能直接删除。用于错误定位 注释的处理 源程序中的注释没有任何语法和语义上的意义，因此在进行词法分析时可以直接将注释删除，而不必生成其TOKEN。 标识符表和常量表 直接在语义信息部分存储 语义信息的长度有限制时，可直接将标识符或常量本身存储于其TOKEN中的语义信息部分。 设置标识符表和常量表 标识符和常量没有长度限制时，构造标识符或常量表，语义信息中为其在表中的地址（节省存贮空间）。 构造词法分析器步骤 确定词法分析器的接口，即确定词法分析 器是作为语法分析的一个子程序还是作为 独立一遍。 确定单词分类和Token结构。 构造每一类单词的描述正则表达式?NFA?DFA。 设计算法实现DFA。 * * 在线教务辅导网： 教材其余课件及动画素材请查阅在线教务辅导网 QQ:349134187 或者直接输入下面地址： CharList 独 立 词法分析器 语法分析 TokenList 附 属 词法分析器 语法分析 call Token 设计与实现--单词分类 设计与实现--正则表达式描述