第04章、词法分析.pptVIP

第4章 词法分析 S.P O.P 表 格 管 理 程 序 错 误 处 理 程 序 2 本章将讨论词法分析程序的设计原则，单词的描述技术，识别机制及词法分析程序的自动构造原理。 4.1 词法分析程序 4.2 正规表达式与正规集（正规语言） 4.3 有限自动机 4.4 正规文法和有限自动机的转换 4.5 正规式和有限自动机的等价性 3 本章重点 单词的描述工具 单词的识别系统 设计和实现词法分析程序 首先需要描述和刻画程序设计语言中的原子单位——单词，其次需要识别单词和执行某些相关的动作。 描述程序设计语言的词法的机制是正规表达式，识别机制是有穷状态自动机。 4 4.1 词法分析程序 实现词法分析（lexical analysis）的程序 逐个读入源程序字符并按照构词规则切分成一系列单词。 单词是语言中具有独立意义的最小单位，包括关键字(保留字)、标识符、常数、运算符、界符等。 词法分析是编译过程中的一个阶段，在语法分析前进行 ，也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 5 词法分析的任务： 主要任务： 读源程序，产生单词符号 其他任务： 滤掉空格，跳过注释、换行符 删除注释 进行词法检查，报告所发现的错误 建立符号表 6 单词的分类 （1）关键字：或称为保留字，是特定的字母序列，在相应的程序设计语言中表示特殊含义。 （2）标识符：由用户定义的串，在程序中常用做常量名、变量名、过程名等。 （3）常数：各种类型的常数，包括整型、实型、布尔型、文字型等，如100，10.12，TRUE，“ABC”等。 （4）运算符：包括算术运算符和逻辑运算符号，如+、*、等。 （5）界符：如逗号、分号等。 7 词法分析程序的输出 词法分析程序所输出的单词符号，常采用以下二元式表示： （单词种类，单词自身值） 其中，单词种类是语法分析所需要的信息，而单词自身值则是编译的其他阶段需要的信息。 单词种类，可以用整数编码表示，例如： 1-标识符，2-常数，3-关键字，4-运算符， 5-界符 语句例： if(a 0) b = b+1; (1)关键字if (3,’if’) (2)左括号( (4,’(’ ) (3)标识符a (1,指向a的符号表入口) (4)运算符 (4,’’) (5)常数0 (2,’0’) …… (12)界符; (5,’;’) 8 不同分类方法的例子：下述C++代码段：while (i=j) i--;经词法分析器处理以后，它将被转换为如下的单词符号串。 ( while , _ ) ( ( , _ ) ( id, 指向i的符号表指针 ) ( = , _ ) ( id, 指向j的符号表指针 ) ( ) , _ ) ( id, 指向i的符号表指针 ) ( -- , _ ) ( ; , _ ) 词法分析程序的实现方式 词法分析单独作为一遍 优点：结构简单、各遍功能单一 缺点：效率低 9 10 源程序 词法分析程序 语法分析程序 Token get token …. 词法分析程序作为单独的子程序 优点：无须在外存中保留整个源程序的内码形式。 11 将词法分析工作分离的原因 简化设计 改进编译效率 增加编译系统的可移植性 12 4.2 正规表达式与正规集（正规语言） 程序设计语言中的单词是基本语法成分,单词符号的语法可以用有效的工具加以描述，并且基于这类描述工具，实现词法分析程序的自动构造。 13 正 规 式 正规式也称正则表达式，正规表达式（regular expression），是说明单词的模式(pattern)的一种重要的表示法（记号），是定义正规集的数学工具。 我们用以描述单词符号。 下面是正规式和它所表示的正规集的递归定义。 14 定义（正规式和它所表示的正规集）： 设字母表为?，辅助字母表?’={?，?，?，?，?，?，?}。 1. ?和?都是?上的正规式，它们所表示的正规集分别为{?}和{ }； 2. 任何a? ?，a是?上的一个正规式，它所表示的正规集为{a}； 15 3. 假定e1和e2都是?上的正规式，它们所表示的正规集分别为L(e1)和L(e2)，那么，(e1), e1? e2, e1?e2, e1?也都是正规式，它们所表示的正规集分别为L(e1), L(e1)?L(e2), L(e1)L(e2)和(L(e1))?。 4. 仅由有限次使用上述三步骤而定义