编译原理及实现技术（张睿）精品课件2.pptVIP

第二章 词法分析 词法分析概述 正则表达式 自动机理论 词法分析器的设计与实现 1 词法分析器概述 词法分析器的功能 词法分析器的地位 * 1.1 词法分析器的功能 功能 读源程序的符号序列，逐个拼出单词，并构造相应的内部表示，同时检查源程序中的词法错误。 单词 所谓单词是指语言中具有独立含义的最小的语义单位。 Token 单词的内部表示。“程序语言的操作对象（只能）是该语言规定的各种数据。”编译程序是用某种程序语言书写的程序，其操作对象是一般程序中的各种语法单位。 * 1.1.1 单词的分类 * 1.1.2 Token的结构 Token是单词在词法分析器中的内部结构 构成： 特殊处理 常数 标识符 特殊符号 * if (position 10) rate = 3.14 * initial; $if,-,$open,-,$id,position,$gt, -, $num, 10,$close, -, $id, rate,$eq,-, $num, 3.14,$mult,-,$id, initial, $semi,- 1.2 词法分析器的接口 * CharList 独 立 词法分析器 语法分析 TokenList 附 属 词法分析器 语法分析 call Token Char List 2 正则表达式 符号串基本概念 正则表达式理论 正则表达式在词法分析中的应用 * 2.1 基本概念 字母表： ∑，元素的非空有穷集合。 符号串：由字母表中的符号组成的任何有穷序列。或者如下定义： 空符号串（用ε表示）是?上的符号串 若x是?上的符号串,a是?的元素,则xa是?上的符号串 y是?上的符号串,当且仅当它可以由1和2导出 * 思考 符号串的长度如何定义？ 符号的个数 ε和?有何区别？ 符号串有无 如何判断两个符号串相等？ 对应位置的符号相等（符号串的长度相同） * 符号串的连接：设x和y均是字母表∑上的符号串，它们的连接是把y的所有符号顺序接在x的符号之后所得到的符号串。 符号串的方幂：设x是字母表∑上的符号串，把x自身连接n次得到的符号串z，称作符号串x的n 次幂，记作 z=xn。 前缀和后缀：设x是字母表上的符号串，x=yz，则y是x的前缀，z是x的后缀，特别是当z≠?时，y是x的真前缀；y≠ε时，z是x的真后缀。 子符号串：非空符号串 x ，删去它的前缀和后缀后所得到的符号串称为 x 的子符号串，简称子串。如果删去的前缀和后缀不同时为ε,则称该子串为真子串。 * 思考 符号x的零次幂x0=？为什么？ 空串，“零次连接得到的串”首先是符号串。 符号串abc的前缀、真前缀、后缀、真后缀、子串、真子串分别是什么？ {?,a,ab,abc}，{?,a,ab}，{?,c,bc,abc}， {?,c,bc}，{?,a,b,c,ab,bc,abc}, {?,a,b,c,ab,bc} * 符号串集合：若集合A中的所有元素都是某字母表上的符号串，则称A为该字母表上的符号串集合。 符号串集合的乘积：设A、B 是两个符号串集合，AB表示A与B的乘积，则定义 AB={xy|(x∈A)∧(y∈B)} 符号串集合的方幂：设A是符号串集合，则称Ai 是符号串集合 A的方幂，其中i 是非负整数。 A0={?}, A1=A, A2=AA, …, An=AA… A 符号串集合的正闭包：A+=A1∪A2∪A3 … 符号串集合的星闭包：A*= A0∪A1∪A2∪A3 … * 思考 符号串集合X的零次幂X0=?为什么？ 由符号串集合的幂定义可知，对于k为任意正整数X0 应该满足X0 ·Xk= Xk· X0 =Xk，所以…… 设X为给定的非空符号串集合，下面等式成立吗？ X+=X·X* ? ?·X=X·?= ? ? {ε}·X= X·{ε}=X ? * 思考 设X={a，b}，Y={c，d} 计算XY，YX，X4，Xn，X+。 XY={ac,ad,bc,bd} YX={ca,cb,da,db} X4={a4,a3b,a2ba,aba2,ba3,a2b2,abab,baab,baba,b2a2,ab3,bab2,b2ab,b3a,b4} Xn={an,an-1b,an-2ba,an-3ba2,…,bn-1a,bn} X+={a,b,a2,ab,ba,b2,a3,a2b,aba,baa,ab2, bab,b3,a4,…} * 2.2 正则表达式理论 描述程序设计语言中单词的一种简单而且数学化的工具。 表示符号串的构成模式。 正则表达式r定义了一个符号串集合S, S内的每个符号串都与r所定义的模式相匹配，S称为由r生成的语言L(r) * 2.2.1 非形式化定义 基本正则表达式 ?，?，a 正则表达式的运算