词法分析.pptVIP

2.3.1 扩充的正则表达式 一次或多次重复: A+ 任何符号:“·”在字母表中任何符号. 符号范围: [0--9] [a--z] [A--Z] 不在给定范围内的符号: [^ a] 可选: A? * 2.3.2 单词描述 保留字 如 begin=begin 标识符 letter=[a-zA-Z] digit=[0-9] identifier=letter(letter|digit)* 数字 整数Int＝[1-9]Digit*|0 实数real＝Int（.Digit*|ε） 特殊符号 +|-|… * 思考 正则表达式的描述能力有局限性吗？ 不能表示描述配对或嵌套结构 例：算术表达式的定义 1）n ?E 2）（E）?E 3）E+E ?E 不能用于描述“重复(对称)”结构 例：{w c w | w是包含符号a和b的串}无法用正则表达式表示（保证两边w是相同的）。 * 词法分析简介 正则表达式 * xa=》符号串的连接 * 词法分析概述 正则表达式 自动机理论 词法分析器的设计与实现 词法分析器的功能 词法分析器的地位 * 1.1 词法分析器的功能 功能 读源程序的符号序列，逐个拼出单词，并构造相应的内部表示，同时检查源程序中的词法错误。 单词 所谓单词是指语言中具有独立含义的最小的语义单位。 Token 单词的内部表示。“程序语言的操作对象（只能）是该语言规定的各种数据。”编译程序是用某种程序语言书写的程序，其操作对象是一般程序中的各种语法单位。 * 1.1.1 单词的分类 * 1.1.2 Token的结构 Token是单词在词法分析器中的内部结构 构成： 特殊处理 常数 标识符 特殊符号 * Type Value if (position 10) rate = 3.14 * initial; $if,-,$open,-,$id,position,$gt, -, $num, 10,$close, -, $id, rate,$eq,-, $num, 3.14,$mult,-,$id, initial, $semi,- Line-num 1.2 词法分析器的接口 * CharList 独 立 词法分析器 语法分析 TokenList 附 属 词法分析器 语法分析 call Token Char List 符号串基本概念 正则表达式理论 正则表达式在词法分析中的应用 * 2.1 基本概念 字母表： ∑，元素的非空有穷集合。 符号串：由字母表中的符号组成的任何有穷序列。或者如下定义： 空符号串（用ε表示）是?上的符号串 若x是?上的符号串,a是?的元素,则xa是?上的符号串 y是?上的符号串,当且仅当它可以由1和2导出 * 思考 符号串的长度如何定义？ 符号的个数 ε和?有何区别？ 符号串有无 如何判断两个符号串相等？ 对应位置的符号相等（符号串的长度相同） * 符号串的连接：设x和y均是字母表∑上的符号串，它们的连接是把y的所有符号顺序接在x的符号之后所得到的符号串。 符号串的方幂：设x是字母表∑上的符号串，把x自身连接n次得到的符号串z，称作符号串x的n 次幂，记作 z=xn。 前缀和后缀：设x是字母表上的符号串，x=yz，则y是x的前缀，z是x的后缀，特别是当z≠?时，y是x的真前缀；y≠ε时，z是x的真后缀。 子符号串：非空符号串 x ，删去它的前缀和后缀后所得到的符号串称为 x 的子符号串，简称子串。如果删去的前缀和后缀不同时为ε,则称该子串为真子串。 * 思考 符号x的零次幂x0=？为什么？ 空串，“零次连接得到的串”首先是符号串。 符号串abc的前缀、真前缀、后缀、真后缀、子串、真子串分别是什么？ {?,a,ab,abc}，{?,a,ab}，{?,c,bc,abc}， {?,c,bc}，{?,a,b,c,ab,bc,abc}, {?,a,b,c,ab,bc} * 符号串集合：若集合A中的所有元素都是某字母表上的符号串，则称A为该字母表上的符号串集合。 符号串集合的乘积：设A、B 是两个符号串集合，AB表示A与B的乘积，则定义 AB={xy|(x∈A)∧(y∈B)} 符号串集合的方幂：设A是符号串集合，则称Ai 是符号串集合 A的方幂，其中i 是非负整数。 A0={?}, A1=A, A2=AA, …, An=AA… A 符号串集合的正闭包：A+=A1∪A2∪A3 … 符号串集合的星闭包：A*= A0∪A1∪A2∪A3 … * 思考 符号串集合X的零次幂X0=?为什么？ 由符号串集合的幂定义可知，对于k为任意正整数X0 应该满足X0 ·Xk= Xk· X0 =Xk，所以…… 设X为给定的非空符号串集合，下面等式成立吗