编译原理—清华大学—第2版—第4章词法剖析.ppt

第四章 词法分析 教学要求：本章介绍编译程序的第一个阶段词法分析的设计原理，要求掌握正规文法、DFA、NFA、正规式和正规集的基本概念和词法分析器的设计原理。 教学重点：词法分析器的任务与设计，自动机的建立、表示、确定化及化简。 单词符号 单词符号一般可分为下列五种： 基本字（关键字）：if,for,while等 标识符：各种名称，如常量名、变量名、过程名等 常数（量）：25, 3.1415, TRUE, “ABC”等 运算符：如 + - * / =等 界符：逗号，分号，括号等 4.2 单词的描述工具 一、正规文法： 文法G=（VN，VT，P，S），P中每一产生式的形式都为：A→aB或A→a，其中A∈VN ，B∈VN ，a∈VT 几类单词正规文法的描述 标识符：〈标识符〉→l | l〈字母数字〉〈字母数字〉→l | d | l〈字母数字〉| d〈字母数字〉 无符号整数：〈无符号整数〉→d | d〈无符号整数〉 运算符：〈运算符〉→ + | - | * | / | = | =| =…… 界符：〈界符〉→ , | ; | ( | ) |…… 二、正规式 （一）定义（正规式和它所表示的正规集）： 设字母表为?，辅助字母表?={?，?，?，?，?，(，)}。 1、?和?都是?上的正规式，它们所表示的正规集分别为{?}和?； 2、任何a??，a是?上的一个正规式，它所表示的正规集为{a}； 3、假定e1和e2都是?上的正规式，它们所表示的正规集分别为L(e1)和L(e2)，那么，(e1), e1?e2, e1?e2, e1?也都是正规式,它们所表示的正规集分别为L(e1), L(e1)∪L(e2), L(e1)L(e2)和(L(e1))?。 4、仅由有限次使用上述三步骤而定义的表达式才是?上的正规式，仅由这些正规式所表示的字集才是?上的正规集。 例:令?={a，b}， ?上的正规式和相应的正规集的例子有： 正规式 正规集 a {a} a?b {a,b} ab {ab} (a?b)(a?b) {aa,ab,ba,bb} a ? {? ,a,aa, ……任意个a的串} (a?b)? {? ,a,b,aa,ab ……所有由a 和b组成的串} (a?b)?(aa?bb)(a?b)? {??上所有含有两个相继 的a或两个相继的b组成 的串} 例 ?={l，d}，r=l(l?d)?定义的正规集: {l,ll,ld,ldd,……}（标识符） 其中：l代表字母,d代表数字,正规式即是 字母(字母|数字)? 它表示的正规集是“字母打头的字母数字串”。 例4.3 ?={d，.，e，+，-},则?上的正规式 ： d?(.dd??? )(e(+?-??)dd???) 表示的是无符号数的集合。其中：d为0-9的数字。 （二）两个正规式等价 若两个正规式e1和e2所表示的正规集相同,则说e1和e2等价,写作e1=e2。 例如： e1= (a?b)， e2 = b?a 又如： b(ab)? = (ba)?b (a?b)? = (a??b?)? （三）正规式的运算律 设r,s,t为正规式，正规式服从的代数规律有： 1、r?s=s?r “或”服从交换律 2、r?(s?t)=(r?s)?t “或”的可结合律 3、(rs)t=r(st) “连接”的可结合律 4、r(s?t)=rs?rt (s?t)r=sr?tr 分配律 5、?r=r, r?=r ?是“连接”的恒等元素 6、r?r=r r?=??r?rr?… “或”的抽取律 三、正规文法到正规式 1. 将正规式转换成正规文法 VT= ?, S?VN ， （1）对正规式r，生成正规产生式 S?r （2）若x和y都是正规式 ①对形如A?xy的正规产生式： A?xB，B?y，B?VN ②对形如A?x?y的正规产生式： A?xB，A?y，B?xB，B?y，B?VN ③对形如A?x?y的正规产生式: A?x，A?y 不断应用上述规则做变换，直到每个产生式右端只含一个VT 例 r = a(a?d)? VT={a,d} S?a(a?d)? S?aA A?(a?d)? A?(a?d)B A?? B?(a?d)B B?? 2. 将正规文法转换成正规式 使用如下规