词法分析-南京大学计算机科学与技术系.pdf

第三章词法分析 许畅 南京大学计算机系 2019年春季 内容 • 词法分析器的作用 • 词法单元的规约(正则表达式) • 词法单元的识别(状态转换图) • 词法分析器生成工具及设计 • 有穷自动机 2 词法分析器的作用 • 读入字符流，组成词素，输出词法单元序列 • 过滤空白、换行、制表符、注释等 • 将词素添加到符号表中 • 在逻辑上独立于语法分析，但是通常和语法分析 器处于同一趟中 3 为什么要设立独立的词法分析器？ • 简化编译器的设计 – 词法分析器可以首先完成一些简单的处理工作 • 提高编译器效率 – 相对于语法分析，词法分析过程简单，可高效实现(下 推自动机vs. 有穷自动机) • 增强编译器的可移植性 4 词法单元、模式、词素 • 词法单元(Token) – 词法单元名、属性值(可选) – 单元名是表示词法单位种类的抽象符号，语法分析器 通过单元名即可确定词法单元序列的结构 – 属性值通常用于语义分析之后的阶段 • 模式(Pattern) – 描述了一类词法单元的词素可能具有的形式 • 词素(Lexeme) – 源程序中的字符序列 – 它和某个词法单元的模式匹配，被词法分析器识别为 该词法单元的实例 5 词法单元、模式、词素(例子) • printf(Total = %d\n, score) ； – printf, score 和标识符(id) 的模式匹配 – Total = % d\n和literal 的模式匹配 6 词法单元的属性 • 一个模式匹配多个词素时，必须通过属性来传递 附加的信息 – 属性值将被用于语义分析、代码生成等阶段 • 不同的目的需要不同的属性 – 属性值通常是一个结构化数据 • 如词法单元id 的属性 – 词素、类型、第一次出现的位置、… 7 内容 • 词法分析器的作用 • 词法单元的规约(正则表达式) • 词法单元的识别(状态转换图) • 词法分析器生成工具及设计 • 有穷自动机 8 词法单元的规约 • 正则表达式可以高效、简洁地描述处理词法单元 时用到的模式类型 • 内容 – 串和语言 – 语言上的运算 – 正则表达式和正则定义 – 正则表达式的扩展 9 串和语言(1) • 字母表(Alphabet) ：一个有穷的符号集合 – 符号典型例子：字母、数字、标点符号 – 例子：{0,1}, ASCII, Un