编译原理4.pptVIP

第四章 词法分析 4.1 词法分析程序的设计 4.2 单词的描述工具 4.3 有穷自动机 4.4 正规式和有穷自动机的等价性 4.5 正规文法和有穷自动机的等价性 4.6 词法分析程序的自动构造工具(选择) 什么是词法分析程序？ 实现词法分析的程序 逐个读入源程序字符并按照构词规则切分成一系列单词 单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等 词法分析是编译过程中的一个阶段，在语法分析前进行 也可以和语法分析结合在一起进行。一般说来，语法分析程序调用词法分析程序来获得当前单词供语法分析使用 词法分析 考虑几个问题 两者的关系如何 为什么要将词法分析与语法分析分开 词法分析欲解决什么问题 词法分析与语法分析程序的接口方式 词法分析 简单地说，词法分析和语法分析存在时间顺序上的关联 词法分析与语法分析的分离 将词法分析与语法分析分离至少具有下面若干的好处： 使整个编译程序的结构更简洁、清晰和条理化。通常语法分析更为复杂，将两者分开使程序更清晰易读 编译程序的效率会改进。词法分析程序虽然相对简单，但重复性较高，采用专门的读字符和分离单词的技术既可大大地加快编译速度，也有利于每部分的自动化 增加编译程序的可移植性。将一些特殊符号的处理(往往与机器环境有关)集中放在词法分析程序中，不影响编译程序其他成分的设计和可移植性 词法分析与语法分析的接口 词法分析程序的功能是读入源程序，输出单词符号 作为一个程序设计语言的基本成分，单词符号一般可分成一下5种： 关键字，也称为基本字、保留字等，如C语言中的do, while, if, then等等 标识符，用来表示各种名字，如常量名、变量名和函数名等 常数，包括各种类型的常数 运算符 界符，如逗号、括号等 词法分析与语法分析接口 标识符通常放在一个符号表中加以管理 例，对程序段 if i=5 then x:=y; 经过词法分析后可得到如下结果： 关键字 if (3, ‘if’) 标识符 i (1, 指向i的符号表入口) 等号= (4, ‘=‘) 常数5 (2, ‘5’) 关键字then (3, ‘then’) 标识符x (1,指向x的符号表入口) 赋值号:= (4, ‘:=’) 标识符y (1, 指向y的符号表入口) 分号; (5, ‘;’) 在上面的表示中，以整数编码来表示单词的类别：标识符编码为1；常数为2；关键字为3；运算符为4；界符为5 词法分析 单词如何描述？ 某种意义上说，单词识别是与单词描述相逆的行为，前者依赖于后者 英文单词是由字母组成的，即它定义在特定的字母表之上。常用?表示字母表 单词的描述工具 正规文法 正规式 正规文法和正规文法的等价性 例 令?={a，b}，那么?上的正规式和相应的正规集有很多 例 程序设计语言的单词都可以用正规式来定义 例1，令?={l, d}，则?上的正规式 r=l(l|d) ?定义的正规集为: {l, ll, ld, ldd,……}，其中l代表字母，d代表数字，正规式即是字母(字母|数字) ? ，它表示的正规集中的每个元素的模式是“字母打头的字母数字串”,就是Pascal和多数程序设计语言允许的的标识符的词法规则 例2，?={d, ?, e, +, -}，则?上的正规式 d?(?dd ?|?) (e(+|- |?)dd?|?)表示的是无符号数的集合。其中d为0~9的数字 正规式 正规式也称正则表达式或正规表达式(regular expression) ，是定义正规集的数学工具。是说明单词的模式(pattern)的一种重要的表示法(记号)，我们用以描述单词符号 有穷自动机 有穷自动机，也称有限自动机，作为一种识别装置，它能准确地识别正规集，即识别正规式所表示的集合 应用有穷自动机这个性质，为词法分析程序的自动构造寻找有效的方法和工具 有穷自动机分为两类： 确定的有穷自动机(Deterministic Finite Automata)，简写成DFA 不确定的有穷自动机(Non-deterministic Finite Automata)，简写成NFA 有穷自动机 这里要讨论下面几个问题 确定的有穷自动机DFA