编译原理(第二版)第4章词法分析.ppt

第四章 词法分析 教学要求：本章介绍编译程序的第一个阶段词法分析的设计原理，要求掌握正则文法、DFA、NFA、正规式和正规集的基本概念和词法分析器的设计原理。 教学重点：词法分析器的任务与设计，状态转换图。 4.1 词法分析程序的设计 回顾： 1、词法分析的任务：逐个读入源程序字符并按照构词规则切分成一系列单词。 2、词法分析程序：实现词法分析的程序。 一.词法与语法分析程序的接口方式 1、作为独立的一遍 2、语法分析结合在一起作为一遍 单词符号 单词符号一般可分为下列五种： 基本字（关键字）：begin, end, if, while等 标识符：各种名称，如常量名、变量名、过程名等 常数（量）：25, 3.1415, TRUE, “ABC”等 运算符：如 + - * / < <=等 界符：逗号，分号，括号等 二、输出表示：（单词种别，单词自身的值） A:=B+2 (id,指向A的符号表的入口指针） (id,指向B的符号表的入口指针) (num, 2) 三、词法分析工作独立的原因： 1、简化设计 2、改进编译效率 3、增加编译系统的可移植性 4.2 单词的描述工具 一、正规文法： 文法G=（VN，VT，P，S），P中每一产生式的形式都为：A→aB或A→a，其中A∈VN ，B∈VN ，a∈VT 几类单词的描述 标识符：〈标识符〉→l | l〈字母数字〉〈字母数字〉→l | d | l〈字母数字〉| d〈字母数字〉 无符号整数：〈无符号整数〉→d | d〈无符号整数〉 运算符：〈运算符〉→ + | - | * | / | = | <=| >=…… 界符：〈界符〉→ , | ; | ( | ) |…… 二、正规式(regular expression) （一）定义（正规式和它所表示的正规集）： 设字母表为?，辅助字母表?'={?，?，?，?，?，(，)}。 1、?和?都是?上的正规式，它们所表示的正规集分别为{?}和?； 2、任何a??，a是?上的一个正规式，它所表示的正规集为{a}； 3、假定e1和e2都是?上的正规式，它们所表示的正规集分别为L(e1)和L(e2)，那么，(e1), e1?e2, e1?e2, e1?也都是正规式,它们所表示的正规集分别为L(e1), L(e1)∪L(e2), L(e1)L(e2)和(L(e1))?。 4、仅由有限次使用上述三步骤而定义的表达式才是?上的正规式，仅由这些正规式所表示的字集才是?上的正规集。 正规式中的符号说明： “?”读为“或”（也有使用“+”代替 “?” 的） “? ”读为“连接”； “?”读为“闭包”（即，任意有限次的自重复连接）。 在不致混淆时，括号可省去，但规定算符的优先顺序为：“?”、“? ”、“?” 。 连接符“? ”一般可省略不写。 “?”、“? ”和“?” 都是左结合的。 正规集是正规语言的另一种表示。 如：字母(数字|字母)? 表示标识符。 例令?={a，b}， ?上的正规式和相应的正规集的例子有： 正规式 正规集 a {a} a?b {a,b} ab {ab} (a?b)(a?b) {aa,ab,ba,bb} a ? {? ,a,aa, ……任意个a的串} (a?b)? {? ,a,b,aa,ab ……所有由a 和b组成的串} (a?b)?(aa?bb)(a?b)? {??上所有含有两个相继 的a或两个相继的b组成 的串} 例 ?={l，d}，r=l(l?d)?定义的正规集: {l,ll,ld,ldd,……}（标识符） 其中：l代表字母,d代表数字,正规式即是 字母(字母|数字)? 它表示的正规集是“字母打头的字母数字串”。 例4.3 ?={d，.，e，+，-},则?上的正规式 ： d?(.dd??? )(e(+?-??)dd???) 表示的是无符号数的集合。其中：d为0-9的数字。 （二）两个正规式等价 若两个正规式e1和e2所表示的正规集相同,则说e1和e2等价,写作e1=e2。 例如： e1= (a?b)， e2 = b?a 又如： b(ab)? = (ba)?b (a?b)? = (a??b?)? （三）正规式的运算律 设r,s,t为正规式，正规式服从的代数规律有： 1、r?s=s?r “或”服从交换律 2、r?(s?t)=(r?s)?t “或”的可结合律 3、(rs)t=r(st) “连接”的可结合律 4、r(s?t)=rs?rt (s?t)r=sr?tr 分配律 5、?r=r, r?=r ?是“连接”的恒等元