第四章 词法分析.pptVIP

第四章 词法分析 词法分析程序的设计 单词的描述技术、识别机制 词法分析程序的自动构造原理 4.1 词法分析程序的设计 回顾 什么是词法分析（lexical analysis）程序 又称词法分析器或扫描器，主要功能是逐个读入源程序字符并按照构词规则切分成一系列单词。 单词是语言中具有独立意义的最小单位，包括保留字、标识符、运算符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法分析前进行 。也可以和语法分析结合在一起运行。 词法分析程序的任务 词法分析程序的输出格式 词法分析的输出常采用二元式： （单词类别，单词自身的值） 单词类别通常用一个整数类码或单词记号表示，单词记号比整数码含义明确。 若还需记录单词的一些其它属性值:如标识符的类别、层次等，可将这些属性统一放到符号表中，并将单词的二元式表示为： （标识符，指向该标识符所在符号表中位置的指针） 词法分析程序的结构 将词法分析从语法分析部分独立出来的原因 使整个编译程序的结构更简洁、清晰、条例化 改进编译效率 增加编译系统的可移植性 词法分析程序的常用设计方法 手工构造 首先确定出能够识别程序中单词的确定的有穷自动机（ DFA），然后可以采用直接编程的方法或者表驱动的方法来构造词法分析器。 借助相关工具的自动构造 如：Lex编译系统  多数程序设计语言的单词的语法均可用正规文法