词法分析程序的设计.pptVIP

回顾: 词法分析的主要任务是：从左到右逐个字符地扫描源程序，产生一个个单词(Token)，同时检查源程序中的词法错误。执行词法分析的程序称为词法分析程序或扫描程序(Scanner)。 单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等。 1. 确定词法分析器的接口 确定词法分析器是作为语法分析的一个子程序还是作为独立一遍 词法分析作为独立一遍 将字符流的源程序变成单词序列，输出到一个中间文件上，做为语法分析的输入。 词法分析作为语法分析的子程序 每当语法分析程序需要一个单词时，则调用该子程序，从源程序中分析和返回一个单词 2. 确定单词分类和Token结构 设计词法分析器的首要任务是，对于源语言的单词进行仔细的分析，并列出所有可能的不同单词，然后再确定单词的内部表示 程序设计语言中的大部分单词，一般可分为以下几类： 1．基本字（关键字）：如 begin，end，if 等 2．标识符：用来表示常量、变量、过程等名字 3．常数：各种类型的常数，如 15，3.14，TRUE 4．运算符：如 +，—，*，/ 5．界符：如逗号，分号，括号等 单词的机内表示 二元式（单词种别，单词自身的值） 种别是语法分析需要的信息 自身值是编译其他阶段需要的信息 种别编码(常用整数编码) 方法一：按单词的5大种类每种一个码，例如标识符为l，常数为2，基本字