com0201-02西安电子科技大学编译原理课件.pptVIP

第二章 词法分析 2.1词法分析中的若干问题2.1.1 记号、模式与单词 2.1.1 记号、模式与单词（续1） 2.1.2 记号的属性 2.1.3 词法分析器的作用与工作方式 2.2 模式的形式化描述 2.2.1 字符串与语言 字符串的基本概念（表2.2） 2.2.1 字符串与语言（续1） 字符串集合的运算（表2.3） 2.2.1 字符串与语言（续2） 2.2.2 正规式与正规集 2.2.2 正规式与正规集（续1） 2.2.2 正规式与正规集（续2） 2.2.2 正规式与正规集（续3） 2.2.3 记号的说明 2.2.3 记号的说明（续1) 1 简化正规式描述 2.2.3 记号的说明（续2） 2.2.3 记号的说明（续3） 2.2.3 记号的说明（续4） 上次课主要内容 2.3 记号的识别－有限自动机 2.3.1 不确定的有限自动机（续1） 2.3.1 不确定的有限自动机（续2） 2.3.1 不确定的有限自动机（续3） 2.3.1 不确定的有限自动机（续4） 2.3.1 不确定的有限自动机（续5） 2.3.1 不确定的有限自动机（续6） 2.3.1 不确定的有限自动机（续7） 2.3.1 不确定的有限自动机（续8） 2.3.2 确定的有限自动机（Deterministic Finite Automaton, DFA） 2.3.2 确定的有限自动机（续1） 2.3.2 确定的有限自动机（续2） 2.3.2 确定的有限自动机（续3） 2.3.3 有限自动机的等价 结束 * 词法分析： x := y + z * 60.0 ; id1 := id2 + id3 * 60.0 ; 词法的双重含义： 规定单词形成的规则，也被称为构词规则或词法规则。它的作用相当于立法，规定什么样的输入序列是语言所允许的合法单词。 根据构词规则识别输入序列，也被称为词法分析。它的作用相当于执法，根据规则识别出合法的单词和指出非法的输入序列。 本章主要内容： 与词法分析有关的基本概念和相关问题 模式的形式化描述－正规式 记号的识别－有限自动机（NFA，DFA） 词法分析器的构造－从正规式到DFA 上机作业－第一部分：函数绘图语言的词法分析器 单词的基本分类： 关键字（保留字） kw(key word, or reserved word) 标识符 id(identifier) 字面量 literal 特殊符号 ks(key symbol, or special symbol) 例2.1 语句 position := initial + rate * 60 id ks id ks id ks number 注意：称识别出id而不是rate或initial 问题：根据什么识别这些词法的基本单位（词法元素）？ 三个术语： 模式（patten）：产生和识别元素的规则 记号（token）：按照某个模式（或规则）识别出的元素（一组） 单词（lexeme）：被识别出的元素自身的值（一个），也称为词值 记号的类别 单词举例 模式的非形式化描述 const(01) const const if(03) if if relation(81) ,=,=,,,= 或=或= id(82) pi,count,D2 字母打头的字母数字串 num(83) 3.1416,0,6.02E23 任何数值常数 literal(84) “core dumped” 双引号之间的任意字符串 Comment {x is an integer} 括号之间的任意字符串 返回 记号是按照某个模式识别出的元素。 再考察赋值句position := initial + rate * 60 position、initial和rate均为标识符，即它们的种类均是id。 问题：当识别出一个id时，如何判定是哪个id？ 同样，当识别出一个relations时，究竟是=还是？ 记号＝记号的类别＋记号的属性 例2.2 表达式 mycount 25 由三个记号组成 类别 属性 82 81 83 “mycount” 5 25 记号的类别 单词举例 记号的非形式化描述 relation(81) ,=,=,,,= 或=或= id(82) pi,count,D2 字母打头的字母数字串 num(83) 3.1416,0,6.02E23 任何数值常数 注意：1 5与25的区别