南京师范大学计算机科学与技术学院编译原理课件第三章 词法分析（一）.ppt

南京师范大学 杨明 教授 第3章词法分析—引言 词法分析的内容： 识别元程序中具有独立含义的最小语法单位—符号或单词，如：标识符、无正负号常数与界限符等。 词法分析程序的功能： 读入源程序字符串，识别开具体独立含义的最小语法单位—单词（符号），并单词变化成统一且为定长的属性字，同时删除注解和空格等无效字符并进行某些预加工处理等。 3.1 引言 符号的识别与重写规则的关系： C语言中的某些关键字和专用符号都应该是文法的终结符号，如何正则文法来表示？ 如：for、while 、if等，可以引进若干个正则文法规则来定义这些字符串，例如： for-1::=f for-2::=for-1o for::=for-2r 当然也可以当作标识符处理，然后查表，判断是保留字还是用户定义标识符等。 3.1 引言 建立词法分析程序的方法： 1. 完全融合方式：有关符号的重写规则与语法成分的重写规则统一处理； 2. 相对独立方式：词法分析程序作为语法分析程序的一个独立子程序； 3.完全独立方式：词法分析程序作为单独一趟来实现。 3.2 正则表达式与有穷状态自动机 状态转换图与转换系统 状态转换图的引进 图3-1 状态图 状态图引进的目的：为识别正则文法的句子。 状态图中除开始状态不是非终结符外，其他均是。 3.2 正则表达式与有穷状态自动机 状态转换图的构造 算法步骤： 1）以S为开始状态作结点（若文法的字汇表不包含符号S）； 2）以每一个非终结符号为状态结点； 3）对于形如Q::=T的每个规则，引一条从开始状态S到状态Q的弧，其上标记为T;而对形如Q::=RT的规则引一条从状态R到Q的弧，其上标记为T,其中R为非终结符号，T为终结符号； 4）以识别符号为终止符号。 3.2 正则表达式与有穷状态自动机 注：开始状态和终止状态数均大于等于1。 应用状态图来识别句子 若字符串x能归约成给定文法的句子，则应用状态图从开始状态出发，沿着弧的方向行进到终止状态。 识别步骤： 1）从开始状态开始，以它作为当前状态，并从x的最左字符开始，重复2）直到达到x的右端为止； 2）扫描x的下一字符（当前字符），在当前状态射出的各个弧中找出标记有该字符的弧，并沿此弧前进，以所达到的状态作为下一当前状态。 3.2正则表达式与有穷状态自动机 ？状态图识别句子的本质 举例说明：给出下列正则文法G[Z]的状态图，并说明识别句子ababaaa的过程。 Z::=Za|Aa|Bb A::=Ba|a B::=Ab|b 3.2正则表达式与有穷状态自动机 应用状态转换图为正则语言构造正则文法 例1. 给出语言{(ab)nb2|n 0}的状态转换图，并将其转换为正则文法。 3.2正则表达式与有穷状态自动机 转换系统，即满足下列三个特征的状态转换图： 1）只有惟一的开始状态和惟一的终止状态Z; 2）在其中无弧进入S,也无弧自Z射出； 3）可能存在有 弧，即标记为 （空串）的弧。 若A经 弧到达B状态，则A或B均可看成当前状态！ 定理3.2 任一状态转换图，都存在有一个相应的转换系统。 证明：略 3.2.2 确定有穷自动机 定义：一个确定的有穷状态自动机DFA是五元组 ，其中： K是有穷非空的状态集合； 是有穷非空的输入字母表； M是从 的映像。如M(R,T)=Q, 则输入字 符为T时，当前状态R将转换到Q，Q成为下一个当前状态； S是开始状态，S K; F是非空的终止状态集合，F K。 3.2.2 确定有穷自动机 运行DFA 复合函数？ M(M(S,tx))=M(M(S,t),X)!!! 扩充的M如下： 3.2.2 确定有穷自动机 约定：由有穷状态自动机接受的字符串集合称正则集。简记为L(D)。 定理3.3 如果句子x属于正则文法G,则它能为G的相应FA所接受；反之亦然。 定理3.4 接受正则语言L的最小状态自动机不计同构（即状态可重新明名）是唯一的。 * *