5词法分析1详解.pptVIP

状态图 letter,digit letter （ IDN ，入口） digit digit ? ( 其它 ) ? ( 其它 ) （ NUM ，值） （ ASG ， _ ） = * （ STAR ， _ ） s ** （ POWER ， _ ） 其它 IDN →letter(letter|digit) * NUM →digit(digit) * ASG →= POWER →** STAR →* 空白 2020/2/25 Ch3. 词法分析 33 3.3 正规表达式与有限自动机 ? 为了更好地使用状态转换图构造词法分 析器，为了讨论词法分析器的自动生成， 还需要 将转换图的概念形式化 。 ? 本节主要讨论词法分析器自动产生所需 要的工具 , 引入：正规式，正规集，有 限自动机等概念。 ? 本节是本章的 重点和难点 。 本节内容及关系 单词符号结 构的描述 状态转换图 词法分析器 ( 扫描器 ) 用 手工实现 正规表达 式 E (3.3.1) 用 正规集 L(E) (3.3.1) 表示 , 值集 正规文法 G 正规语言 L(G) 用 产生 有限自动机 FA M 单词符号集 L(M) 形式化 识别 , 接受 DFA (3.3.2) 最少化 (3.3.6) NFA (3.3.3) 确定化 (3.3.3) 三者相同 等价 等价 (3.3.4) 等价 (3.3.5) 第 3 章 词法分析 词法分析 (Lexical Analysis) 词法的表示 词法分析器的设计与实现 2 本章在编译程序中的地位 表 格 管 理 词法分析器 语法分析器 语义分析与中间代码产生 优化器 目标代码生成器 源程序 单词符号 语法单位 中间代码 中间代码 目标代码 出 错 处 理 主要教学内容 ? 3.1 词法分析器的功能、输出形式和结构 ? 3.2 词法分析程序的设计方法 --- 重点 ? 3.3 正规表达式与有穷状态自动机 --- 重 点难点 ? 3.4 词法分析器的自动产生 2020/2/25 Ch3. 词法分析 3 4 教学要求 ? 掌握 ： ? 正规式、状态转换图、有限自动机的 概念 , ? 将 NFA 转换为 DFA 、 DFA 的化简、 ? 正规式与有限自动机间的转换、 ? 正规文法与有穷自动机间的转换， ? 词法分析程序的功能和设计方法。 ? 了解理解： ? 词法分析器的自动产生工具 LEX 。 词法分析涉及的概念及关系 扫描识别 , 依据构词规则 源程序 ( 字符串 ) 单词符号串 词法分析程序 ( 扫描器 ) [ 输入 ] [ 输出 ] 输入 , 扫描 (3.2) 预处理 , 超前搜索 单词分类 (3.1) 内部表示 手工生成 (3.2) 自动生成 (3.3) 等价 状态转换图 用程序实现 , 即扫描器 正规式 , 正规集 有限自动机 DFA NFA 自动生成工具 LEX, 用正规式描述 , 扫描器 象 FA 一样工作 (3.4) 生成 描述 工具 等价 6 3.1 对词法分析器的要求 3.1.1 词法分析器的 功能和输出形式 ? 输入源程序，扫描识别 , 输出单词符号 ? 程序语言的单词符号一般分为五种： ? 关 键 字 ( 保 留 字 或 基 本 字 ) ： 如 begin,end,if,then,else,while,do 等 ? 标识符 ：用来表示各种名字，如 X1 ? 字面常数 ：如 256 ， 3.14 ，true,‘abc ? 运算符 ：如 ＋、－、 * 、 / 等等 ? 分界符 ：如 逗号，分号，冒号等 7 while i ＜＞ j do if i ＞ j then i: ＝ i － j else j:=j － i ; 例 词法分析器 输入 输出 while i ＜＞ j do if i ＞ j then i := i － j else j := j － i ; 3.1 .1 词法分析（扫描）器的功能 ? 功能： ? 读源程序，产生记号序列 ? 剥去源程序中的注释（块、行）和“空白” 符 ? 预处理－宏处理与文件包含 ? 单词符号的形式 ? 按照最小的语义单位设计 ? 通常表示为二元组： （单词符号种别，属性值 ） ? 关键——找出符号的分割符 1) 单词符号的表示 ? 常用单词符号种别 —— 分类（ P42 ） ? 各关键字（保留字、基本字），各种运算 符，各种分界符 —— 各用一个种别码标识 ? 其它标识符 —— 用一个种别码标识 ? 常数 —— 用一个种别码标识 ? 属性（值） —— 单词符号的值 ? 常数的值，标识符的名字等 ? 保留字、运算符、分界符的属性值可