编译原理第三章_词法摘要.ppt

第三章 词法分析 (Lexical Analysis) 主要内容： 词法分析程序的功能; 单词分类及内部表示; 词法分析程序的设计与实现步骤。 3.1 词法分析介绍 3.1.1 词法分析程序的功能 单词是字符的序列,是指语言中那些具有独立含义的最小语义单位。 单词不是程序设计语言中的语法概念，是编译程序中引进的一个概念。 编译程序的翻译工作 为提高效率，编译应该在单词一级上进行; 词法分析的主要任务:词法分析是编译的第一阶段，它的的主要任务是按语言的词法规则，从左至右逐个字符地对原程序进行扫描，从源程序中识别出每个单词，并把每个单词转换成它们的内部表示，即所谓的TOKEN，同时进行词法检查。 词法分析程序：执行词法分析的程序称为词法分析程序,有时也称为词法分析器(Lexical Analyzer)或者扫描器(Scanner)。 3.1.2 词法分析程序的接口 词法分析程序与语法分析程序的接口有两种形式: 词法分析程序作为编译器的独立一遍 遍（Pass）：所谓“遍”就是对源程序或源程序的中间表示形式从头到尾扫描一次，并作加工处理，生成新的中间结果或目标程序。 词法分析程序作为独立的一遍：读入源程序字符序列，识别出每一个单词并将其转换成相应的内部表示，形成一个TOKEN序列，这个TOKEN序列将作为语法分析程序的输入； 词法分析程序作为语法分析程序的一个子程序 语法分析程序每调用一次词法分析程序,词法分析程序就从源程序的字符序列中拼出一个单词，并将其TOKEN值返回给语法分析程序。 这种方式的好处是，它不需要存储源程序的内部表示。 词法分析器的接口 CharList 3.2 词法分析程序的设计3.2.1 单词分类 一般常用程序设计语言的单词可以分为以下几类： 保留字：保留字一般是由语言系统自身定义的，通常是由字母组成的字符串。如C语言中的int, if, for, do等等。这些字在语言中具有固定的意义，是编译程序识别各类语法成分的依据。 标识符：用来标识程序中各个对象的名称。它们由用户定义，用来表示变量名、常量名、数组名和函数名等。 常量：主要包括整数常数、实数常数、字符常量、字符串常量等。 特殊符号：包括运算符和界限符。 运算符表示程序中算术运算、逻辑运算、 字符运算、赋值运算的确定的字符或字符串。 如各类语言通用的+、-、*、/、、=、=等。 界限符在语言中是作为语法上的分界符号使用的。 如逗号、分号、单引号等。 3.2.2 单词的内部表示 TOKEN结构图 单词的内部表示TOKEN的结构一般由两部分组成：单词类别和语义信息。 单词类别，又称词法信息，用来区分单词的不同种类，通常可以用整数编码来表示。 单词的语义信息，应该是唯一确定其本身内容的编码。 一、标识符和常量的TOKEN结构  给出标识符和常量类别编码; 给出标识符和常量的语义信息。 关于语义信息可以有两种处理方法： 一种是在其TOKEN的语义信息部分直接存储这些值； 另外一种是设置标识符表和常量表来存储其值，这时TOKEN的语义信息部分就是一个指向相应表项的一个指针。 第一种方法处理起来比较简单，但是TOKEN的空间大小不好确定，可能造成空间浪费。因此，我们采取第二种策略。 二、保留字、界限符和运算符的处理 可以有两种处理方法： 一种是保留字、界限符和运算符分别算作一类，除了要给出其类别外，还需在其TOKEN的语义信息部分直接存储这些值的串或整数编码；如： 另外一种是保留字、界限符和运算符采用一符一类的方法，不输出单词的值（其TOKEN的语义信息部分为空），只输出其类别码即可。如： 不设置标识符表和常量表，词法分析程序扫描该程序段的字符序列，生成下列TOKEN序列： 1.( 15, ) 2. ( 1, sum ) 3. ( 30, ) 4. ( 1, first ) 5. ( 30, ) 6. ( 1, count ) 7. ( 35, ) 8. ( 20, ) 9. ( 31, ) 10. (37, ) 11. ( 23, ) 12. (37, ) 13. ( 1, sum ) 14. ( 32, ) 15. ( 1, first ) 16. ( 33, ) 17. ( 1, count ) 18. ( 36, ) 19. ( 2, 10 ) 20.