第三章词法分析.pptVIP

中南大学软件学院 陈志刚 第三章 词法分析 3.1 词法分析概述 3.2 词法分析程序的设计 3.3 正规式与有限自动机 3.4 词法分析程序的实现 3.5 词法分析器的自动生成 3.1 词法分析概述 词法分析程序 词法分析是编译过程中的一个阶段，在语法分析前进行 ，也可以和语法分析结合在一起作为一遍。 输入：源程序字符串 输出：等价的属性字序列（内部表示形式） 3.1 词法分析概述 一、词法分析程序的任务 从左至右逐个字符地扫描源程序，产生一 个个单词符号。把作为字符的源程序改造为 单词符号串组成的中间程序，执行词法分析 任务的程序称为词法分析器或称扫描器。 二、词法分析程序的功能 词法分析程序主要执行以下功能： 读入源程序字符串，识别开具有独立含义的最小语法单位——单词（符号）； 把单词变换成长度统一的且为定长的属性字； 其他功能： 滤掉空格，跳过注释、换行符 某些预加工处理 三、词法分析程序的安排 常常把词法分析程序作为独立的一遍或作为被语法分析程序所调用的子程序。 1、作为独立的一遍： 语法分析前进行词法分析，把单词符号串形成中间文件存贮。 三、词法分析程序的安排 2、作为被语法分析器词用的子程序： 四、词法分析程序的实现方式 相对独立方式：把词法分析程序作为语法分析程序的一个独立子程序。语法分析程序需要新符号时调用这个子程序。 完全独立方式：词法分析