天津大学编译原理讲义-Part3词法3分解.ppt

DFA最小化 Thanks for your time! Questions Answers * * * We will study typical compilation: from programs written in high-level languages to low-level object code and machine code Most of the principles and techniques in this course apply to non-typical compilers and translators * Part3词法分析 授课：胡静 内容提要 词法分析器的作用 词法分析程序的设计与实现——状态图 词法分析程序的自动生成——有穷自动机 词法分析器的自动产生 LEX工作过程 首先，使用LEX语言写一个定义词法分析器的源程序lex.l。 然后利用LEX编译器将lex.l转换成C语言程序lex.yy.c。它包括从lex.l的正规表达式构造的状态转换图的表格形式以及使用该表格识别词素的标准子程序。 与lex.l中正规表达式相关联的动作是C代码段，这些动作可以直接加入到lex.yy.c中。 最后，lex.yy.c通过C编译器生成目标程序，这个目标程序就是把输入流转换成记号序列的词法分析器。 LEX工作过程 LEX的实现 单个正则表达式 词法分析器 处理多样的REs 将所有的正则表达式的NFA联合在一起，变成一个单一的有限自动机 LEX二义性的处理方法 RE’s + 优先匹配原则 + 最长匹配规则 = 词法分析器的定义 词法分析器 输出端是Token流 将tokens和终态联系在一起。 当到达一个终态时，就将相应的token输出。 最长匹配 当到达一个终态时，要查看是否存在更进一步的转换。如果不存在，则返回当前终态对应的token 优先级规则 当终态对应多个token的时候，有可能会有相同的最长匹配的token 将这个终结状态和最高优先级的token联系起来。 LEX举例 LEX举例 NFA确定化 给出状态转换表 LEX程序举例 词法分析总结 * * * We will study typical compilation: from programs written in high-level languages to low-level object code and machine code Most of the principles and techniques in this course apply to non-typical compilers and translators *