词汇分析（一）.pptVIP

第3章 词法分析(一);主要内容：词法分析的任务，手工实现词法分析程序，正规式与有穷自动机，词法分析程序的自动生成 重点掌握：词法分析器的功能和接口，用状态转换图设计和实现词法分析程序，正规文法、正规式和有穷状态自动机的概念及相互转换;词法分析(一)内容;词法分析在编译器的位置;一、词法分析概述 ;1. 词法分析器的功能;单词：是语言中具有独立意义的最小单位，常用单词分类： 保留字：具有固定意义的标识符 运算符 界符 标识符：表示各种名字 常数 对于一个程序设计语言，保留字、运算符和界符都是确定的，可以给以固定的编号(种别码)。 标识符是根据构词规则定义的，常数是符合定义的各种类型的常数;种别码：是对能识别的单词的分类编码 有多种编码方式： 标识符一般统一为一种：一个编号 常数按类型分别编码：整数、实数、布尔、字符 关键字一般一字一种 运算符一般一符一种 界符一般一符一种 ;某语言单词的种别码定义举例;2. 词法分析阶段的必要性;3. 记号、模式和词素;4. 单词的机内表示;5. 词法错误处理;应尽可能发现更多的错误 处理方式 每个程序段单独处理错误 统一处理错误（商用软件系统） 记录式的文件 数据库 统计表明，现代软件系统中， 75%的程序代码都是用于处理错误与错误信息 商业系统中错误处理的特点是：统一错误编号，编制文档指出错误信息的含义、应对措施、解决方案; 词法分析程序简单地说就是读单词程序，该程序扫描用高级语言的源程序，将源程序中由单词符号组成的字符串分解出一个个单词来。 单词符号是程序语言的基本语法单位，具有确定的语法意义。程序语言的单词符号通常可分为五种。; 扫描器的基本任务是从左向右扫描每行源程序的符号，拼成单词，换成统一的内部表示（Token）送给语法分析程序。 扫描器的主要任务有：;词法分析程序的接口;睹苦霞杭信紧衣杨镜五根蔓猜可负隐畏挪丁萄唬墓氨诈衣鱼貌贫匀壬燥灿词汇分析（一）词汇分析（一）;爬第羞事姆脸来拄澜邱慨弥私绘亢人铸瓦笨撼擞犯温锈落摆旱杜颜匝亏指词汇分析（一）词汇分析（一）;识别单词前作??下假定： 关键字就是保留字 单词中间不能有分界符(如空格、空白、界符和算符等) 单词中间不能有注释 单词必须在一行内写完，换行后认为是另一个单词 一个单词不能超过规定长度;识别单词;3.单词的构成规则用状态转换图表示;一个状态图可用于识别一定的字符串，大多数程序设计语言的单词符号都可以用转换图来识别。;状态转换图的实现：使用一个switch case 语句：每条分支对应一个case语句段;词法分析器的自动生成; 主要介绍了一个编译过程中的词法分析阶段及其一些基本概念。 进行词法分析，首先要理解记号（单词）、模式、词素、属性、状态状态图等基本概念。词法分析的输出就是语法分析的输入。 词法分析涉及到语言的基本运算。