词法分析器 编译原理.docVIP

《编译原理》 ——词法分析器 学院： 专业： 姓名： 学号： 序言 编译，简单的说，就是把源程序转换为可执行程序。词法分析器的原理，最后会给出一个词法分析器的简单实现。 词法分析器所输出单词符号常常表示成如下的二元式： (单词种别，单词符号的属性值) 单词种别通常用整数编码。标识符一般统归为一种。常数则宜按类型（整、实、布尔等）分种。关键字可将其全体视为一种。运算符可采用一符一种的方法。界符一般用一符一种的方法。对于每个单词符号，除了给出了种别编码之外，还应给出有关单词符号的属性信息。单词符号的属性是指单词符号的特性或特征。 while(i=j) i-- 经词法分析器处理后，它将被转为如下的单词符号序列： while, _ (, _ id, 指向i的符号表项的指针 =, _ id, 指向j的符号表项的指针 ), _ id, 指向i的符号表项的指针 --, _ ;, _ 词法分析分析器作为一个独立子程序 词法分析是编译过程中的一个阶段，在语法分析前进行。词法分析作为一遍，可以简化设计，改进编译效率，增加编译系统的可移植性。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 在FORTRAN中 1 DO99K=1,10 2 IF(5.EQ.M) I=10 3 DO99K=1.10 4 IF(5)=55 这四个语句都是正确的语句。语句1和2 分别是DO和IF语句，语句3和4是赋值语句。为了正确区别1和3，2和4语句，需超前扫描若干个字符。 1 DO99K=1,10 2 IF(5.EQ.M) I=10 3 DO99K=1.10 4 IF(5)=55 语句1和3的区别在于符号之后的第一个界符：一个为逗号，另一个为句末符。语句2和4的主要区别在于右括号后的第一个字符：一个为字母，另一个为等号。为了识别1、2中的关键字，必须超前扫描多个字符。超前到能够肯定词性的地方为止。为了区别1和3，必须超前扫描到等号后的第一个界符处。对于语句2、4来说，必须超前扫描到与IF后的左括号相对应的那个右括号之后的第一个字符为止。 词法分析器使用状态转换图来识别单词符号。状态转换图是一张有限方向图。在状态转换图中，有一个初态，至少一个终态。 其中0为初态，2为终态。这个转换图识别（接受）标识符的过程是：从初态0开始，若在状态0之下输入字符是一个字母，则读进它，并转入状态1。在状态1之下，若下一个输入字符为字母或数字，则读进它，并重新进入状态1。一直重复这个过程直到状态1发现输入字符不再是字母或数字时（这个字符也已被读进）就进入状态2。状态2是终态，它意味着到此已识别出一个标识符，识别过程宣告终止。终态结上打个星号意味着多读进了一个不属于标识符部分的字符，应把它退还给输入口中 。如果在状态0时输入字符不为“字母”，则意味着识别不出标识符，或者说，这个转换图工作不成功。 正规表达式是说明单词的一种重要的表示法(记号)，是定义正规集的工具。在词法分析中，正规表达式用来描述标示符可能具有的形式。 定义(正规式和它所表示的正规集)： 设字母表为S， 1. e和?都是S上的正规式，它们所表示的正规集分别为{e}和{ }； 2. 任何a? S，a是S上的一个正规式，它所表示的正规集为{a}； 3. 假定U和V都是S上的正规式，它们所表示的正规集分别为L(U)和L(V)，那么，(U), U|V, U·V, U*也都是正规式,它们所表示的正规集分别为L(U), L(U)èL(V), L(U)L(V)和(L(U))*； 4. 仅由有限次使用上述三步骤而定义的表达式才是S上的正规式，仅由这些正规式所表示的字集才是S上的正规集。 正规式的运算符的“?”读为“或” ,“· ”读为“连接”；“*”读为“闭包”(即，任意有限次的自重复连接)。 在不致混淆时，括号可省去，但规定算符的优先顺序为“(”、“)”、“*”、“· ”、“?” 。连接符“· ”一般可省略不写。 “*”、“· ”和“?” 都是左结合的。 例 令S={a,b}， S上的正规式和相应的正规集的例子有： 正规式 正规集 a 　　　　　{a} a?b {a,b} ab {ab} (a?b)(a {aa,ab,ba,bb} a * {e ,a,a, ……任意个a的串} ba* {b, ba, baa, baaa, …} (a?b)* {e ,a,b,aa,ab ……所有由a和b 组成的串} (a?b)*(aa?bb)(a?b)* {S*上所有含有两个相继的a 或两个相继的b组成 的串} 定理：若两个正规式U和V所表示的正规集相同,则说U和V等价,写作U=V。 证明b(ab)*=( ba)*b