《编译原理》第三章词法分析器.pptVIP

Lexical Analyzer 词法分析器 内 容 词法分析器的任务 正规表达式和有限自动机 词法分析器的构造 词法分析器的自动产生 词法分析器的任务 词法分析器的任务就是把一个源程序的输入串进行词法分析，然后分解为一个个的单词符号。 程序语言的单词符号一般可分为下列五种：(1)基本字、(2)标识符、(3)常数、 (4)运算符、(5)界符。 词法分析器所输出的单词符号常常表示称如下的二元式： (单词种别、单词自身的值) 词法分析器的任务 单词种别通常用整数编码.它主要取决于处理上的方便. 如果一个种别只含一个单词符号,那么,对于这个单词符号,种别编码就完全代表它自身了.若一个种别含有多个单词符号,那么,就还应给出有关单词符号的属性信息. 单词符号的属性是指单词符号的特性或特征.属性值则是反应特性或特征的值.例如某个标识符,常将存放它得有关信息得符号表项得指针作为其属性值. 所以词法分析器的任务就是将一个源程序的输入串分解成为一个二元式的序列。 举例 如下述C++代码段: while (i = j) i-- ; 经过词法分析器处理后,它将转换为如下的单词符号序列: while , - ( ,- id ,指向i的符号表项的指针 = ,- id ,指向j的符号表项的指针 …… 注:在书中我们假定关键字,运算符和界符都是一符一种种别,标识符单列一种 词法分析器的设计 在设计中,把词法分析器安排为一个独立阶段可以使整个编译程序的结构更简洁,清晰和条理化.而且它也用更有效的特殊方法和工具进行处理,也就是我们后面要介绍的正规文法和有限自动机. 但是,这并不意味着我们也必须把词法分析器作为独立的一遍。我们可以把词法分析器安排成一个子程序,每当语法分析器需要一个单词符号时就调用这个子程序,词法分析器就从输入串识别出一个单词符号,把它交给语法分析器. 输入、预处理 工作的第一步是输入源程序文本。输入串一般是放在一个缓冲区中，这个缓冲区称输入缓冲区。 一个预处理子程序，会对输入串进行一些预处理的工作，处理出一串确定长度的输入字符，并将其装进词法分析器所指定的缓冲区中(扫描缓冲区) 单词符号的识别：超前搜索 关键字的识别 在一些语言中，关键字和用户自定义的标识符或标号之间没有特殊的界符作间隔,这使得关键字的识别甚为麻烦。如： 1、 DO99K=1,10 2、 IF(5.EQ.M) I=10 3、 DO99K=1.10 4、 IF(5)=55 这四个语句都是正确的FORTRAN语句.但意义却不同.为了区别，我们必须超前扫描许多个字符，超前到能够肯定词性的地方为止。 标识符的识别 多数语言的标识符是字母开头的“字母/数字”串,而且在标识符的出现都后跟着算符或界符.故其识别不难。 对于常数,算符和界符的识别也同样需要超前搜索。 状态转换图 它是一种设计词法分析器的好工具。 转换图是一张有限方向图。在状态转换图中，结点代表状态，用圆圈表示。状态之间用箭弧连结。箭弧上的标记(字符)代表在射出结点(即箭弧始结点)状态下可能出现的输入字符或字符类。 一个状态转换图可用于识别(或接受)一定的字符串。 状态转换图 识别标识符和整数的转换图分别如下所示： Regular Expressions and Finite Automata 正规表达式与有限自动机 为了更好地使用状态转换图构造词法分析程序,为了讨论词法分析程序的自动生成,需要将上述转换图的概念加以形式化. Regular Expressions( RE): 1. ? 和 ? 都是?的正规式，他们所表示的正规集分别为{?}和?; 2.任何a ?? , a 是?上的一个正规式,它所表示的正规集为{ a }; Regular Expressions( RE): 3.假定 ? 和 ? 都是?上的正规式, 它们的正规集分别为A和B， 那么?﹒? , ? | ?, 和 ?* 也都是正规式, 它们所表示的正规集分别为 AB, AUB和A* ; 4.仅由有限次使用上述三步骤而定义的表达式才是?上的正规式 ，仅由这些正规式所表示的字集才是?上的正规集。 正规表达式满足交换律、结合律、分配律。任意正规式与空字的连接后仍为该正规事本身。 Example of Regular Expressions: letter ::= a | b | ...| z (or [a - z] in short) 字母序列. digit ::= 0 |1 | .