Chapter03LexicalAnalysis词法分析.pptVIP

北京化工大学信息科学与技术学院计算机系 北京化工大学 信息科学与技术学院计算机系 史晟辉 shishenghui@ shish@ Chapter 3 Scanning(lexical analysis)词法分析 3.1? 词法分析器的作用? 3.2? 输入缓冲? ? 3.3? 记号的描述? 3.4? 记号的识别? 3.5? 从正规表达式到NFA 3.6 TINY扫描程序的实现 3.7 LEX 3.1 词法分析器的作用 3.1 词法分析器的作用 3.1 词法分析器的作用 3.1.1? 词法分析中的问题 3.1.2? 记号、模式、词素 3.1.3? 记号的属性 3.1.4? 词法错误 3.1 词法分析器的作用 3.1.1? 词法分析中的问题 3.1 词法分析器的作用 3.1.2? 记号、模式、词素 3.1 词法分析器的作用 3.1.3? 记号的属性 ● Tokens(记号)的枚举表示 3.1 词法分析器的作用 3.1.4? 词法错误 3.2? 输入缓冲 3.2? 输入缓冲 3.3 记号的描述 1. Basic Regular Expression 基本正则表达式 2. Regular Expression Operation 正则表达式的运算 Precedence of Operation运算符的优先级 3. Example 3. Example 3.3.4 Extensions to Regular Expressions Regular Expressions for Programming Language Tokens 3.3.5 正则文法 3.4 记号的识别 3.4.1 状态转换图 3.4.2 Finite Automata有穷自动机 Definite of Deterministic finite automation(DFA) 确定有穷自动机 ● Example ● Example ● 状态表 Nondeterministic finite automation(NFA) 非确定有穷自动机 Implementation of finite automata in Code 用代码实现有穷自动机 3.5 From Regular Expression To DFAs从正则表达式到DFA 例：令∑={a,b}， ∑上所有含有两个相继的a或两个相继的b的字的集合——用NFA表示如下： ● NFA到DFA的区别： 例1：NFA转换成DFA (符号合并) ③NFA确定为DFA过程： DFA的初态（为NFA的初始状态经过ε合并后的状态的并集）例：T(S,ε)=; DFA的其它状态（ 为NFA的状态经过输入符号后产生的状态，再经过ε合并后的状态的并集）例：求T(S,0)=？ T(S,0)=A; T(A,ε)=B; T(B,ε)=C; T(C,ε)=； DFA的终态（为所有含有NFA的终态的状态） NFA确定化过程： (初态、其它状态、终态) 3.5.3 DFA的化简 (极小化) 例2：设计一个最小化的DFA，其输入字母表是{0,1}，它能接受以0开始，以1结尾的所有序列。——化简 例3：试求与下图所示NFA等价的化简了的DFA。 例4：试构造与正则式R=(a*|b*)b(ba)*等价的状态最少的DFA。 NFA确定为DFA: 3.6 Implementation of a tiny scanner TINY扫描程序的实现 ● The DFA 1 for the special symbols except assignment ● The DFA 3 (comments ,white space, assignment ) ● Sample program in the TINY language ● Output of scanner ● Output of scanner Chapter Scanning(lexical analysis)词法分析 ● 作业 ● 上机程序要求 ● 上机程序注释 ● 上机程序提交文档 Thank you. ? Beijing University of Chemical Technology Beijing,?P R China { sample program In TINY language - Computes factorial } read x; { input on integer } if 0 x then { dont compute if x = 0 } fact := 1 ;