东北大学秦皇岛分校编译原理课件 第四节.pptVIP

第四章 词法分析 本章将讨论词法分析程序的设计原则，单词的描述技术，识别机制及词法分析程序的自动构造原理。 4.1 词法分析程序 4.2 正规表达式与正规集（正规语言） 4.3 有穷自动机 4.4 词法分析程序的自动构造 本章重点 单词的描述工具 单词的识别系统 设计和实现词法分析程序 首先需要描述和刻画程序设计语言中的原子单位——单词，其次需要识别单词和执行某些相关的动作。 描述程序设计语言的词法的机制是正则表达式，识别机制是有穷状态自动机。 回顾 什麽是词法分析程序 实现词法分析（lexical analysis）的程序 逐个读入源程序字符并按照构词规则切分成一系列单词。 单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法分析前进行 。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 词法分析程序的任务 词法分析是编译的第一个阶段。 词法分析所做的工作也叫“扫描处理”，因此，词法分析程序也常被叫做“扫描器”。 词法分析的任务是识别单词，为语法分析提供语法单位序列。 单词的形式一般为： 词法分析程序的输入是源程序，输出是一定形式的单词序列。 词法分析程序和语法分析程序的关系 词法分析程序的要求 词法分析程序必须按照一定的分类标