第三章词法及有穷自动机详解.ppt

第三章 词法分析及有穷自动机 §1. 词法分析程序的任务 一、词法分析程序的任务及处理方式 1. 词法分析程序的任务 主要任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词序列，用以语法分析。 词法分析程序（扫描程序）：执行词法分析的程序。 2. 词法分析程序的处理方式 词法分析程序与语法分析程序接口方式有两种： 第一种方式： 二、词法分析程序的I/O 1. 输入 字符串表示的源程序 2.输出 单词符号序列或单词符号。 1 程序语言的单词符号 单词：指语言中具有独立意义的最小语法单位。 语言中的单词符号： 一般可归结为五种： 保留字（基本字）：如if, for, and 等――个数确定 标识符：表示常量、变量、类型、过程等名称――个数不确定 常数：如34，-0.37等――个数不确定 运算符：如+，-，*，/， 等――个数确定 界线符：如逗号，分号，括号等――个数确定 注：·保留字，运算符，界线符可列表，供词法分析程序查询； ·标识符和常数可用正规文法或正规式描述，供词法分析程序识别。 2 输出的单词形式 二元组：（单词的种别码，单词自身值） 1o 单词的种别码：表示单词的种类 分类的原则：处理简单 分类的方法：使每一个单词对应一个整数码 分类的目的：最大限度地区别各个单词 单词地分类法有多种： 一种一类 一字一类或一符一类 具体： 保留字：一字