2015词法分析一.pptVIP

莆田学院许振和 第3章 词法分析(一) 本章要求 主要内容：词法分析的任务，手工实现词法分析程序，正规式与有穷自动机，词法分析程序的自动生成 重点掌握：词法分析器的功能和接口，用状态转换图设计和实现词法分析程序，正规文法、正规式和有穷状态自动机的概念及相互转换 词法分析(一)内容 一、词法分析概述 二、词法分析程序的设计方法 1. 词法分析器的功能 单词：是语言中具有独立意义的最小单位，常用单词分类： 保留字：具有固定意义的标识符 运算符 界符 标识符：表示各种名字 常数 对于一个程序设计语言，保留字、运算符和界符都是确定的，可以给以固定的编号(种别码)。 标识符是根据构词规则定义的，常数是符合定义的各种类型的常数 种别码：是对能识别的单词的分类编码 有多种编码方式： 标识符一般统一为一种：一个编号 常数按类型分别编码：整数、实数、布尔、字符 关键字一般一字一种 运算符一般一符一种 界符一般一符一种 某语言单词的种别码定义举例 应尽可能发现更多的错误 处理方式 每个程序段单独处理错误 统一处理错误（商用软件系统） 记录式的文件 数据库 统计表明，现代软件系统中， 75%的程序代码都是用于处理错误与错误信息 商业系统中错误处理的特点是：统一错误编号，编制文档指出错误信息的含义、应对措施、解决方案 词法分析程序简单地说就是读单词程序，该程序扫描用高级语言的源程序，将源程序中由单词符号组成的字符串分解出一个个单词来。 单词符号是程序语言的基本语法单位，具有确定的语法意义。程序语言的单词符号通常可分为五种。 扫描器的基本任务是从左向右扫描每行源程序的符号，拼成单词，换成统一的内部表示（Token）送给语法分析程序。 扫描器的主要任务有： 词法分析程序的接口 识别单词前作如下假定： 关键字就是保留字 单词中间不能有分界符(如空格、空白、界符和算符等) 单词中间不能有注释 单词必须在一行内写完，换行后认为是另一个单词 一个单词不能超过规定长度 识别单词 主要包括如下几种单词的识别： 标识符的识别：字母+(字母/数字) 关键字的识别：与标识符相同，最后查表 常数的识别 界符和算符的识别 3.单词的构成规则用状态转换图表示 一个状态图可用于识别一定的字符串，大多数程序设计语言的单词符号都可以用转换图来识别。 识别过程是：从初始状态0开始，若读入一个字母，转入1状态，若再读入字母或数字，仍处于1状态，否则转向2状态，结束一个标识符的识别过程。状态上的*表示多读入一个符号。 词法分析器的自动生成 正规式 正规文法 有穷自动机 主要介绍了一个编译过程中的词法分析阶段及其一些基本概念。 进行词法分析，首先要理解记号（单词）、模式、词素、属性、状态状态图等基本概念。词法分析的输出就是语法分析的输入。 词法分析涉及到语言的基本运算。 * * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 词法分析在编译器的位置 每个阶段将源程序从一种表示转换成另一种表示。 词法分析器 错 误 处 理 器 符 号 管 理 表 语法分析器 语义分析器 中间代码生成器 代码优化器 代码生成器 编译的各个阶段 源程序 目标程序 编译器是分 阶段执行的。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 一、词法分析概述 词法分析器可以分为两个阶段： 第一阶段是扫描阶段； 第二阶段是词法分析阶段。 词法分析器有两种实现模式： 完全独立模式、相对独立模式 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Co