第2章词法.ppt

第二章 词法分析 本章主要讨论词法分析程序的设计原则，单词的描述技术、识别机制及词法分析程序的自动构造原理。 1.词法分析的功能 2.程序语言的单词符号种类及词法分析输出 3.词法分析程序的设计与实现 4.正规表达式与有穷自动机 5.词法分析程序的自动生成 本章重点 单词的描述工具 单词的识别系统 设计和实现词法分析程序 首先需要描述和刻画程序设计语言中的原子单位——单词，其次需要识别单词和执行某些相关的动作。 描述程序设计语言的词法的机制是正规表达式，识别机制是有穷自动机。 词法分析程序 词法分析是编译过程中的一个阶段，在语法分析前进行。可以作为一个独立的子程序。 优势表现为： 简化设计 改进编译效率 增加编译系统的可移植性 可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 单词符号 是程序设计语言中具有独立意义的最小单位，程序设计语言基本组成成分。 五类： 关键字（保留字/基本字）:if while … 标识符：常量名 变量名 常数：34 56.78 运算符：+ - / AND… 界限符：， ； （ ）… 词法分析器的输出：Token串 机内表示形式： 单词类别有多种编码方式： 标识符一般统一为一种：一个编号 常数按类型分别编码：整数、实数、布尔、字符 关键字一般一字一种 运算符一般一符一