编译原理 王生原 董渊 杨萍 张素琴 slide04新.pptVIP

《编译原理》 词法分析 第四讲 词法分析概述 词法分析程序的设计与实现 词法分析 词法分析程序的自动构造 词法分析概述 词法分析程序（Lexical Analyzer）或 词法扫描程序（Scanner）的作用 从左至右扫描构成源程序的字符流 识别出有词法意义的单词（Lexemes） 返回单词的记号（Token）和单词的值，或词 法错误信息 除以上主要任务外，常伴有如下任务 滤掉空格，跳过注释、换行符，追踪换行标志， 复制出错源程序，宏展开，…… 编译程序主题中如何组织词法分析程序 可以作为单独的一遍 较常用的方式是由语法分析程序调用 基本任务都是识别单词 词法分析程序 单词记号形式的源程序 …… 源程序 语法分析程序 词法分析程序 …… 源程序 语法分析程序 记号（token） get token 词法分析概述 例：Pascal 程序文本 position := initial + rate * 60； 经词法分析程序处理后，转换为下列单词序列 单词类别（对应一个单词记号） 单词值 标识符 position 赋值算符(:=) 标识符 initial 加算符(+) 标识符 rate 乘算符(*) 整数常量 60 分号(；) 词法分析概述 单词的类别及其组成模式（Pattern） 由语言的词法规则定义，是一个单词描述 的集合 常用的单词描述工具 扩展巴克斯范式（EBNF） 状态转换图 正规表达式 有限状态自动机 词法分析程序的设计与实现 实例: PL/0 语言词法分析程序的设计 EBNF 描述 词法分析程序的设计与实现 实例: PL/0 语言词法分析程序的设计 单词类别 词法分析程序的设计与实现 实例: PL/0 语言词法分析程序的设计 词法分析子程序 getsym( ) 词法分析程序的设计与实现 从当前输入符号起扫描下一个词法单位，即单词 通过下列变量传递单词类别 public Symbol sym; 通过下列变量传递标识符单词的值 public String id; 通过下列变量传递常量单词的值 public int num; 实例: PL/0 语言词法分析程序的设计 词法分析子程序 getsym( ) 词法分析程序的设计与实现 识别出标识符 position 之后 sym 的值被置为 ident id 的值被置为 “position” 识别出无符号整数 60 之后 sym 的值被置为 number num 的值被置为整数值 60 实例: PL/0 语言词法分析程序的设计 getsym( ) 识别单词的过程 词法分析程序的设计与实现 逐个读取下面的字符 调用 getch( ), 其功能: 漏掉空格/换行等字符， 读取一个字符(为减少磁盘I/O次数，每次从文件 中读取一行至缓冲区,从缓冲区取下一字符) 拼成下一个有意义的词法单元 根据 EBNF 描述直接编写识别过程 也经常使用状态转换图 实例: PL/0 语言词法分析程序的设计 PL/0 词法规则的状态转换图 词法分析程序的设计与实现 实例: PL/0 语言词法分析程序的设计 技术个案 词法分析程序的设计与实现 如何区分标识符与保留字 预设一个保留字表，通过查表来确定是否保留字 字符退还 在识别双符号运算符之类的单词时，要注意到可能 需要进行字符退还 例:在读取字符‘’后，若下一字符不是‘=’，则识别 的单词是小于号‘’，但要退还这个非 字符，以 保证下一次仍读到那个非 字符 词法分析程序自动构造的典型过程 步骤一 使用者用正规表达式作为词法规则的 形式描述，每一类词法单元都对应一个正规表 达式，所有正规表达式以文本方式作为自动构 造工具的输入 词法分析程序的自动构造 词法分析程序自动构造的典型过程 步骤二 自动构造工具将每一个正规表达式转 换成有限自动机的形式，比如使用第三讲中的 方法将正规表达式转换成 ?-NFA 词法分析程序的自动构造 词法分析程