第二章词法分析1-正则表达式.pptVIP

第二章 词法分析1 (Lexical Analysis) 词法分析程序的功能; 单词分类及内部表示; 单词的描述技术—正则表达式和自动机 词法分析程序的设计与实现步骤. 2.1 词法分析程序的功能 词法分析器读取源程序的字符序列，逐个拼出单词并构造相应的内部表示。同时检查源程序中的词法错误。 一类是仅作为语法分析的子程序： 字符序列 2.2 单词及单词内部表示 单词： 是指语言中具有独立含义的最小的语义单位。 例如3.14*initial就可以划分成3.14, *,initial这三个单词。 但是3.14不可以继续划分成3,.,14 单词的内部表示 TOKEN结构图 单词类别:又称词法信息，用来区分单词的不同种类，通常可以用整数编码来表示. 语义信息:应该是唯一确定单词本身的内容. 单词的分类 例： 单词的描述工具 正则表达式 ((y|z)*x(y|z)*x)*(y|z)* 自动机 2.2单词的形式描述工具正则表达式 正则表达式，又称正规表示法、常规表示法（Regular Expression，代码中常简写为regex、regexp或RE）。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。 在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。 2.2.1 符号和符号串基本概念 2.符号串 由字母表中的符号组成的任何有穷序列称为字母表上的符号串。符号串还可以称为“字符串”、“字”或“句子”，一般用?，?，….，x，y，z表示。 ?表示空串。对任一字母表∑，都有?是∑上的符号串。 空串集{?}不同于空集? 。 6. 子字符串 一个非空字符串 x ,同时删去它的一个前缀和一个后缀后所得到的字符串称为 x 的子字符串，简称子串。 如果删去的前缀和后缀不同时为ε,则称该子串为真子串。 例如: 设 x = abc , 其子串为: abc , ab , a , ? , bc , c , b 。 真子串为: ab, a , ? , bc , b , c 。 8.符号串集的乘积 设A、B 是两个符号串集合，AB表示A与B的乘积，具体定义为： AB = { xy | ( x∈A ) ∧ ( y∈B )} 特别有：1、?A = A? = ? ，其中?表示空集。 2、{ε}A = A{ε} = A 例2.3 设 A = { a, bc } ， B ={ de, f } ,则： AB = { ade, af, bcde, bcf } 2.2.2 正则表达式 （一）正则表达式的递归定义 归纳基础： 1) ?和? 是∑上的正则表达式，L(ε)={ε}该语言只包含空串， L(?)={}该语言为空. 2) 对任何a∈∑,那么a 是∑上的一个正则表达式，L(a)={a}，它所表示该语言仅包含一个长度为1的字符a; 归纳步骤： 由小的正则表达式构造较大的正则表达式的步骤有以下四种方法。假定Ａ和Ｂ是正则表达式，分别表示语言L(A)和L(B),那么： 1） (A)是一个正则表达式，表示语言L((A))= L(A) 2） A|B是一个正则表达式，表示语言L(A) ∪ L(B) 3） A ? B是一个正则表达式，表示语言L(A)L(B) 4） A*是一个正则表达式，表示语言 (L(A))* 有限次使用上述规则构成的表达式称为∑上的正则表达式，表示的集合称为∑上的正规集。 （二）正则表达式示运算符优先级：先闭包运算*，次连接运算 ? ，最后或运算 | 例（1） ?={ a,b }. 正则表达式示例（2） ?={ a,b }. 正则表达式示例（3） 设字母表?={0，1}，求二进制数字集合且为2的倍数。 所有?上定义的串的正则表达式为（1|0）* 则二进制数表示为1(1|0)*|0 其中能被二整除的表示为1（1|0）*0|0 （三）正则表达式的性质 作业： 设字母表?={x，y，z}， 所有?上定义的串。 不包含y的所有符号串集合。 包含偶数个x的所有符号串。 不包含连续两个y的所有符号串集合。 （四）扩充的正则表达式 一次或多次重复: R+ 任何符号: “·”匹配在字母表中任何符号. 符号范围: “-” ,如[0-9] 、 [a-z]、 [A-Z]. 排除型字符集合: “[^xyz]”匹配未列出的任意字符 . 如: %[^a-zA-Z]% 匹配含有两个百分号里面有一个非字母的字符串 . 0或1次(可选): “？”. r?=(? |r) 如:c