第二单元 词法分析.pptVIP

第二章 词法分析 本章内容: 1、词法分析程序的任务与设计 2、单词的描述机制 3、单词的识别机制 本章重点： 单词的描述机制——正规式 单词的识别机制——有限自动机 什么是词法分析器 实现词法分析的程序 词法分析的任务：从左至右扫描源程序的字符串，按照词法规则识别出源程序中具有独立含义的最小语法单位——单词。 和用户接口的其他任务： ---滤掉注释和（由空格、制表符等引起的）空白 ---某些预加工处理 词法分析器作为一个独立的子程序 2.1 单词的描述和识别 2.1.1 串和语言 首先表述一些基本 术语和概念 ---符号：一个抽象实体,是语言中最基本的不可再分 的单位。例如字母是符号,数字也是符号。 ---字母表：符号的非空有限集合，因此字母表也称 为字符类或符号集。例：? = {0, 1} ---串：符号的有穷序列，例：00 11 10 是字母表? ={0, 1}上的符号串 ---符号串的长度： 如果某符号串x中有m个符号， 则称其长度为m，表示为｜x｜=m，如 001110的长度是6。 ---空符号串：即不包含任何符号的符号串， 用ε表示，其长度为0，即｜ε｜=0 ---语言：字母表上的一个串集 。例：{?, 0, 00, 000, …}, {?}, ? ---句子：属于语言的串 串的运算： ---连接：xy， s? = ?s = s ---积（指数）：s0为?，si为si -1s（i 0） 例1：例如 x=ST，y=abu，则它们的连接xy=STabu，看出｜x｜=2，｜y｜=3，｜xy｜=5 例2：符号串自身连接n次得到的符号串 an 定 义为 aa…aa n个a a1=a, a2=aa且a0=ε 例3：若x=AB 则: x0 = ε x1 =AB x2 = ABAB x3 = ABABAB xn = xxn-1 = xn-1 x (n0) 语言的运算 ---合并：L ? M = {s | s ?L 或 s ? M } ---连接：LM = {st | s ? L 且 t ? M} ---指数：L0是{? }，Li是Li -1L ---闭包：L? = L0 ? L1 ? L2 ? … ---正闭包： L+ = L1 ? L2 ? … 例：若 L={a, b}, M={c, d} 则 LM={ac, bc, ad, bd} L*={ε, a, b, aa, bb, ab, ba, aaa, ...} L+={ a, b, aa, bb, ab, ba, aaa, ...} 2.1.2 正规式 正规式：又称正规表达式，是描述单词构造 方法的一种形式化工具，每个正规 式r表示一个语言L(r)，正规式表示 的语言叫正规集。 下面是正规式和它所表示的正规集的递归定义。 令Σ是一个有限字母表，则Σ上的正规式及其表示的集合递归定义如下: 1. ε和?都是Σ上正规式，它们表示的正规集为 {ε}和? 2. 若a是Σ上的字符，则a是正规式，它表示的正 规集为{a} 3. 若r和s都是Σ上的正规式，他们表示的正规集 记为L(r)和L(s)，则 （a） r|s是正规式，表示集合L(r)∪L(s)， （b） rs是正规式，表示集合L(r)L(s)， （c） r*是正规式，表示集合(L(r))*， （d）(r)是正规式，表示的集合仍然是L(r)。 （加括弧改变优先级、结合性） 注：1） “?”读为“或”（也有使用“+” 代替 “?” 　　 的）； “? ”读为“连接”，一般可省略 　　２）仅由有限次使用上述三个步骤而得到的表达式才是 Σ上的正规式，仅由这些正规式所表示的字集才 是Σ上的正规集。 二者关系：正规式定义正规集，