编译原理与实践-第2章 词法分析.pptVIP

第2章 词法分析;2.1 词法分析器的作用;任务：逐个读入源程序字符并按照构词规则切分成一系列单词。单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等。 识别出源程序中的单词； 删除无用的空白字符及注释（空格、回车 等），这些信息仅增加了源程序的可读性，便于程序员阅读和维护程序，而对于语法分析是完全无用的。 进行词法检查，能够检测出输入中不能形成源语言任何单词的错误字符串。;The big elephant ate the peanut.; token表示的字符串（串值或词义）： if , y, ,3,then,x,=,0;if y3 then x=0;定义逻辑项token的数据类型： typedef struct ;词法分析程序的函数接口： TokenRecord getToken(void);;第2章 词法分析;正则表达式：;2.2.1 基本概念和术语 2.2.2 正则表达式的定义 2.2.3 正则表达式基本等价关系 2.2.4 正则表达式的扩展 2.2.5 单词的正则表达式举例;2.2.1 基本概念和术语; 符号串 由字母表中的符号组成的任何有穷序列称为符号串: 例如00， 11， 10 是字母表? =｛0，1｝上的符号串。 字母表A=｛a，b，c｝上的符号串有： a，b，c，ab，aaca等。 在符号串中，符号的顺序是很重要的，符号串ab就不同于ba，abca和aabc也不同。;符号串的长度 如果某符号串x中有m个符号，则称其长度为m，表示为｜x｜=m，如001110的长度是6。 空符号串，即不包含任何符号的符号串，用ε表示，其长度为0，即｜ε｜=0。 ;符号串的连接：设x和y是符号串，它们的连接xy是把y的符号写在x的符号之后得到的符号串。 例如 x=ST，y=abu，则它们的连接 xy=STabu，｜x｜=2，｜y｜=3，｜xy｜=5 由于ε的含义，显然有εx=xε=x。 符号串的方幂：符号串自身连接n次得到的符号串xn 定义为 xx…x； n个x x1=x, x2=xx且x0=ε;例；若x=ab 则: x0 = ε x1 =ab x2 = abab x3 = ababab xn = xxn-1 = xn-1x (n0);符号串集合：若集合A中所有元素都是某字母表?上的符号串，则称A为字母表?上的符号串集合。 符号串集合的和与积 设A，B为两个符号串集合，定义 和 A+B(或A?B) ={w|w?A，或w?B} 积 AB={xy|x?A,y?B} ; 若用?表示空集，则有： A+? = ?+A = A A? = ?A = ? {?}A = A{?} = A 例：若集合A=?ab,cde? ，集合B = ?0,1?，则AB =?ab1,ab0,cde0,cde1?；;Σ的闭包：用?*表示?上的一切符号串（包括ε）组成的集合，Σ*称为Σ的闭包。 例如：Σ={a,b} Σ*={ε,a,b,aa,ab,ba,bb,aaa,aab,…} Σ的正闭包：?上除ε外的所有符号串组成的集合记为?+ ，Σ+称为Σ的正闭包。 例如：Σ={a,b} Σ+={a,b,aa,ab,ba,bb,aaa,aab,…};2.2.1 基本概念和术语 2.2.2 正则表达式的定义 2.2.3 正则表达式基本等价关系 2.2.4 正则表达式的扩展 2.2.5 单词的正则表达式举例;正则表达式就是用特定的运算符及运算对象按某种规则构造的表达式。 每个正则表达式代表一个字符串的集合，我们把其称为正则集。 语言(Language)是字符串组成的集合，我们也可以把正则表达式表示的正则集称为该正则表达式表示的语言。;正则表达式和它所表示的正则集(字符串的集合)的递归定义如下： 设有字母表为Σ，辅助字母表Σ’={ф,ε, | , . , * , ( , ) } ;(1)ε和ф是Σ上的正则式，它们所表示的正则集分别为{ε}和{}; (2) 若a∈Σ，则a是Σ上的正则式，它所表示的正则集为{a}; ; r|s 是正则式，表示的正则集为 L(r|s)=L(r)∪L(s) ； rs 是正则式，表示的正则集为 L(rs)=L(r)L(s) ； r *是正则式，表示的正则集为(L(r))*。 (r) 是正则式，表示的正则集为L(r)；;(4)仅由有限次