第三章 词法分析 词法分析程序的设计和实现.pptVIP

第三章 词法分析 词法分析程序的设计和实现 首先需要描述和刻画语言中的原子单位——单词，其次需要识别单词和执行某些相关的动作。描述程序设计语言的词法的机制是3型文法和正则表达式，识别机制是有穷状态自动机。 第三章 词法分析 1 词法分析程序 2 正规表达式与正规集（正规语言） 3 有穷自动机 4有穷自动机和正规表达式 5有穷自动机和正规文法 1词法分析程序 词法分析（lexical analysis） 逐个读入源程序字符并按照构词规则切分成一系列单词。 单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法分析前进行 。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 1词法分析程序 主要任务： 读源程序，产生单词符号 其他任务： 滤掉空格，跳过注释、换行符 追踪换行标志，复制出错源程序， 宏展开，…… 1词法分析程序 单词符号一般可分为下列五种： 基本字，关键字 标识符 常数（量） 运算符 界符 1词法分析程序 输出表示（单词种别，单词自身的值）。 A:=B+2