第04单元编译原理词法分析.pptVIP

第4章　词法分析 4.1　词法分析程序的功能及处理方式 4.2　词法分析器的I/O 4.3　词法分析程序设计过程及工具 4.4　正规式与有穷自动机 4.5　正规文法与有穷自动机 第四章小结 4.1　词法分析程序的功能及处理方式 一、功能 将源程序变换成单词序列。 二、处理方式 根据变换时扫描源程序的次数分为一次扫描式和多次扫描式 一次扫描式 将字符串表示的源程序，经词法分析以后，得到一个个单词系列，再作语法分析。 4.2　词法分析器的I/O 一、输入：字符串表示的源程序。 二、输出：①单词符号序列，或 　　　　　②一个单词符号 1、语言的单词符号：是语言中具有独立意义的最小语法单位（如字符集、数字表达式都不是单词符号）。 2、一般高级语言的单词符号分类： ①基本字（保留字）：if ,then ,else, for, while ②标识符：以字母开头的字母数字串 ③常数：整数、布尔值、浮点数 ④运算符：＋、－、*、/、＞、＜、＝ ⑤界符：，、（）、｛｝ 三、输出单词的形式：二元组 二元组：（单词种别码，单词自身值） 1. 单词种别码 表示单词的种类：如基本字、标识符、常数、运算符、界符等。 原则：处理简单。 方法：每一类单词对应一个不同的整数。 目的：最大限度地区别各个单词。 4.3　词法分析程序设计过程及工具 一、设计过程 分析器的功能：字符串　－－＞　一个一个的单词符号 4.4　正规式与有穷自动机 一、正规式与正规集的递归定义 正规式的定义 设有一个字母表?={a1,a2,……am}定义?上的 正规式 正规集 ?、?、ai {?}、{?}、{ai}。 A，B L(A)、L(B) A|B L(A |B)=L(A)?L(B) A·B L(A·B)=L(A)L(B) A* 　　　L(A*)=(L(A))* 仅由有限次使用上述1)、2)定义的表达式是?上的正规式，仅由这些正规式所表示的字集才是?上的正规集。 二、有穷（限）自动机 DFA（确定的有穷自动机） 定义： 一个DFA　M是一个五元组： 　　M＝（S，?，f，S0，F），其中， 　S：状态的有穷非空集，Si是一个状态 　?：有穷输入字母表，ai是其中的一个字符 　f: 状态转换函数，S? ??S的单值映射函数 　　　如：f(S1,a)=S2 　S0?S，是唯一的初始状态，一定不为空 　F ?S，终态集，可以为空 4.5　正规文法与有穷自动机 定理：对任意的正规文法G，一定存在一个有穷自动机M与之等价；对任意的有穷自动机M，也一定存在一个正规文法G与之等价。 第四章小结 初态可不唯一　 初态唯一　 多值映射函数　 单值映射函数 　　NFA　N＝（S，?，S0N，fN，F） 　DFA　M＝（ S，?，S0D，fD，F ） 三、正规式R ? NFA 理论依据：正规式R和有穷自动机是等价的。 对于字母表?上的NFA　M可以构造一个字母表?上的正规式R使得L(R)＝L(M)。 对字母表?上的每个R可以构造一个?上的NFA　M，使得L(M)＝L(R)。 分裂法 输入：字母表?上的正规式R 输出：接受（识别）正规式R上的正规集L(R)的NFA 步骤： 第一步：引进一个初态结点x和终态结点y x y R ? 第二步：如果 R＝?，则图为： x y ? R＝?，则图为： x y ? ? R＝a，则图为： x y ? a R是一个复合公式，则分裂R，直到每边上只留下一个符号（注：?也是一个符号 ）为止。按如下三种情形之一进行分裂： i j ? A r B i j ? A B i j ? ? r ? A i j ? AB ① i j ? A | B ② i j ? A* ③ 分裂为 分裂为 分裂为 第三步：最后分裂的结果，保证一个唯一的初态结和唯一的终态结。 Ex1: R=(a|b)*abb，求NFA。 x y (a|b)*abb ? 解： x ? 1 2 3 y (a|b)* a b b x ? 1 2 3 y a|b a b b 0 ? ? x ? 1 2 3 y a a b b 0 ? ? b Ex2: R= 0(1*)* | 01，求NFA。 x y 01* ? 解：先化简R，因为 ① (A*)*=A* ②A|A*=A* 所以0(1*)* | 01＝01* | 01＝0(1* | 1)＝01* x ? a y 0 1* x ? a y 1 0 b ? ? 课堂练习： 　　求识别aa*|bb*的NFA 1 2 开始 a 0 a b b 3 ? ? y 4 ? ? 四、NFA ? DFA 理论依据 定理：设L为一个能被NFA N接受（识别）的字的集合，则存在