PowerPoint 演示文稿 - 应用仓库- Sina App Engine.pptVIP

* 第2章 词 法 分 析 词法分析器的作用: 词法分析器是编译器中唯一与源程序打交道的部分，从某种意义说，也可以被认为是整个编译器的预处理器。它的主要工作包括： (1) 滤掉源程序中的无用成分，如注释、空格、回车等。 (2) 处理与具体平台有关的输入。不同的操作系统或相关软件构成的平台，对某些特殊符号(如文件结束符等)可能有不同表示，因此需要在词法分析阶段分情况处理。 (3) 识别记号，并交给语法分析器。这是词法分析器的主要任务。 (4) 调用符号表管理器或出错处理器，进行相关处理。 根据编译器的总体需求，词法分析器在整个编译器中可以有不同的工作方式。 (1) 词法分析器作为语法分析器的子程序。最常采用，也最容易实现，每当语法分析器需要一个记号时，就调用词法分析器，并得到一个识别出的记号。其工作方式如图2.1所示。 (2) 词法分析器进行单独的一遍扫描。另一种常用的工作方式，它以源程序为输入，输出是以记号流形式表示的源程序。其工作方式如图2.2所示。 图2.1 作为子程序的词法分析器 图2.2 词法分析器进行单独一遍扫描 (3) 与语法分析器并行工作的模式。上述两种词法分析器的工作模式与语法分析器的关系均被认为是串行的。为了提高编译器的效率，可以通过一个队列，使词法分析器和语法分析器以生产/消费的形式并行工作。词法分析器将识别出的记号流输出到队列中，语法分析器从队列中取得记号，只要队列中有识别出的记号，则词法分析器和语法分析器就可以同时工作。其工作方式如图2.3所示。 图2.3 并行工作模式 2.2 模式的形式化描述 2.2.1 字符串与语言 从词法分析的角度看，程序设计语言是由记号组成的集合，每个记号又是由若干字母按照一定规则组成的字符串。我们首先定义一个泛泛的“语言”，然后在此基础上规定一个正规集，而程序设计语言就是一个正规集。 例2.6 引入正规式的缩写形式和辅助定义式后，id和num的正规式可重写如下。 char = [a-zA-Z] digit = [0-9] digits = digit+ optional_fraction = ( . digits )? optional_exponent = ( E (+|)? digits )? id = char ( char|digit )* num = digits optional_fraction optional_exponent 2.3 记号的识别 —— 有限自动机 2.3.1 不确定的有限自动机(Nondeterministic Finite Automata，NFA) 定义 NFA是一个五元组(5-tuple) M =(S，∑，move，s0，F)其中： ① S是有限个状态(state)的集合；② ∑是有限个输入字符(包括ε)的集合；③ move是一个状态转移函数，move(si，ch)=sj表示当前状态si下若遇到输入字符ch，则转移到状态sj；④ s0是唯一的初态(也称开始状态)；⑤ F是终态集，它是S的子集，包含了所有的终态。 例2.7 识别由正规式(a|b)*abb说明的记号的NFA定义如下：S={0,1,2,3}, Σ={a,b}， s0 = 0, F={3}, move = { move(0,a)=0, move(0,a)=1, move(0,b)=0, move(1,b)=2, move(2,b)=3} 图2.5 识别(a|b)*abb的NFA (a) 转换图表示的NFA；(b) 转换矩阵表示的NFA NFA的特点是它的不确定性，即在当前状态下，对同一个字符ch，可能有多于一个的下一状态转移。 用NFA识别输入序列的方法是：从NFA的初态开始，对于输入序列中的每一个字符，寻找它的下一状态转移。 若此时所处状态是终态，则从初态到终态路径上的所有标记，构成了一个识别出的记号。 否则沿原路返回，并在返回的每一个节点试探可能的下一条路径，直到遇到第一个终态. 图2.7 NFA识别输入序列abb和abab (a) abb的识别过程；(b)abab的识别过程 例2.9 用例2.7中的NFA来识别输入序列abb和abab。 2.3.2 确定的有限自动机(De