基于C语言编译器词法分析浅析.docVIP

基于C语言编译器词法分析浅析 　　摘要：编译器是高级语言执行前必须使用的一个环节，它的作用是将自然语言转换成机器语言，而词法分析又是编译器整个工作的第一步——词素解析，笔者从词法分析的任务、基本词素、词法分析工具和DFA几个方面对词法分析进行浅析。 　　关键词：词法分析；编译器；有穷自动机（DFA）；词素 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）24-5450-05 　　计算机问世以后，就彰显了它神奇的力量就是为我们解决各种复杂的问题，事实上它的神奇都是我们人类赋予计算机。当我们面临的一个问题，便想办法告诉计算机什么问题，怎么解决，结果是什么。告诉计算机的过程就是我们选择程序语言的编程的操作。最早人们使用机器语言，由于专业性太强，被少数人员所掌握，慢慢过渡到高级语言，但高级语言又不能直接被计算机识别和执行，必须经过等价的转换，??成计算机能识别并执行的机器代码。完成这种等价转换操作的工具，就是编译程序。 　　1 编译程序的结构 　　编译程序完成高级语言到机器语言的转换，最终得到计算机可执行的01代码，但这个复杂的过程可被分成五个相对独立的阶段——词法分析阶段、语法分析阶段、语义分析及中间代码生成阶段、优化代码阶段和OBJ代码生成阶段，每个阶段承担专门的工作，前一个阶段的产物正好是下一个阶段处理的数据。 　　1.1 词法分析阶段 　　词法分析阶段就是对源代码中字符串进行扫描和分解，依据高级语言的编程规则将字符串（ String）转化成词素 （Token）。例如对于C-语句： 　　词法分析的结果用二元式表示是： 　　构词的规则就是词法，例如标识符（ID）可定义为以字母开头，后面跟零个或任意个字母或数字的序列。词法分析程序就根据词法构造有限自动机来识别每一个词素，词素的编码[1]，将产生的单词交给语法分析程序。 　　1.2 语法分析阶段 　　语法分析阶段的是根据词素进行语法分析，识别出各类语法单位，最终判断输入串在语法上是否为合法的程序，例如对上一个的输入串进行语法分析可得到如图2的语法树。 　　1.3 语义分析与中间代码生成阶段 　　语义分析阶段是根据前一阶段产生的分析树，按语义规则对语法分析器规约的语法单位进行语义判断并把它们翻译成为一定形式的中间代码，其形式有四元式或三元式等中间语言。有了中间代码就能很容易地转换成OBJ代码。前面的语法树翻译的中间代码用四元式序列表示为： 　　1.4 代码优化阶段 　　代码优化阶段的工作是把中间代码进行优化处理，以便获取更为高效的OBJ产物。 　　1.5 目标代码生成阶段 　　目标代码生成是编译过程最后一个阶段，它把中间代码翻译成为OBJ代码。如对于前面生成的中间代码，助记符代码表示为： 　　助记符代码经过汇编器（Assembler）和连接器（Linker）执行，就可以得到计算机上运行的01代码。 　　2 词法分析阶段 　　2.1 词法分析的任务 　　词法分析是编译过程的第一个阶段，是编译的基础。它就是将源代码中的字符串、组成符号按照从左到右的顺序一个一个字符读入进行识别，即对构成源程序的字符串进行扫描然后根据构词规则识别单词，过滤空白、换行、制表符、注解等，将词素添加到符号表中，输出词法单元序列。词法分析是语法分析的基础，通常它与语法分析处于同一趟中完成（图3）。 　　2.2 词法分析的词素 　　C语言的程序主要有五种词素：关键词、标识符、常数、运算符和界符。对于关键词、运算符和界符的形式和个数是确定的在词法分析时可以进行独立枚举并确定词素自身的的编码。而对于标识符和常数的使用个数是不确定的。完成词法分析就是将源代码中的五种词素分析出来。用下图表示五种词素之一的关系运算符（图4）。 　　2.3 词法分析的工具 　　2.3.1 状态转换图 　　状态转换图是词法分析器设计的好工具。状态转换图是一张有限方向图。在状态转换图中，有一个初态，至少一个终态。 　　其中0为初态，2为终态（图5）。这个转换图识别（接受）标识符的过程是：从初态0开始，若在状态0之下输入字符是一个字母，则读进它，并转入状态1。在状态1之下，若下一个输入字符为字母或数字，则读进它，并重新进入状态1。一直重复这个过程直到状态1发现输入字符不再是字母或数字时（这个字符也已被读进）就进入状态2。状态2是终态，它意味着到此已识别出一个标识符，识别过程宣告终止。终态结上打个星号意味着多读进了一个不属于标识符部分的字符，应把它退还给输入口中（超前扫描技术）。 　　2.3.2 正规表达式与正规集 　　正规表达式是说明单词的一种重要的表示法，是定义正规集的工具。词法分析中，正规表达式用来描述单词可能具有的形式。 　　如标识符正规式：l（l