第5-7讲(词法分析).ppt.ppt

第4章 词法分析 4.1 词法分析程序的设计 4.2 单词的描述工具 4.3 有穷自动机 4.4 正规式和有穷自动机的等价性 4.5 正规文法和有穷自动机间的转换 4.6 词法分析程序的自动构造工具 主要内容 课题：正规文法与正规式及其等价变换 目的要求： 1.理解词法分析在编译过程中的重要性； 2.掌握正规式的定义，正规式与正规文法的等价变换? 教学重点： 1.正规式的定义； 2.正规式与正规文法的等价变换 教学难点 ： 正规式与正规文法的等价变换 教学课时： 2 教学方法：多媒体教学 教学内容和步骤 ：（如下） 第 五 讲 词法分析：是编译过程的第一个阶段，在语法分析前进行。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 主要任务：从左到右逐个字符地对源程序进行扫描，产生一个个单词序列，用以语法分析。并把源程序转换为等价的内部表示形式。 4.1 词法分析程序的设计 单词是语言中具有独立意义的最小语法单位，包括保留字、标识符、运算符、标点符号和常量等。 词法分析工作独立的原因： 简化设计 改进编译效率 增加编译系统的可移植性 一. 正规文法（回顾） 文法G=(Vn,Vt,P,S)，P中每一规则有A→aB或A→a ，A,B?Vn，a?Vt*，称G(S)是正规文法。 4.2 单词的描述工具 几类单词的描述 标识符： 〈标识符〉→l | l〈字母数字〉 〈字母数字〉→l | d | l〈字母数字〉| d〈字母数字〉 无符号整数：〈无符号整数〉→d | d〈无符号整数〉 运算符：〈运算符〉→ + | - | * | / | = | =| =…… 界符：〈界符〉→ , | ; | ( | ) |…… 无符号实数：〈无符号实数〉→ d 〈余留无符号数〉| . 〈十进小数〉| e〈指数部分〉〈余留无符号数〉→ d 〈余留无符号数〉| . 〈十进小数〉| e〈指数部分〉|ε〈十进小数〉 → d 〈余留十进小数〉〈余留十进小数〉 → e〈指数部分〉| d 〈余留十进小数〉| ε〈指数部分〉 → d 〈余留整指数〉| s〈整指数〉〈整指数〉 → d 〈余留整指数〉〈余留整指数〉 → d 〈余留整指数〉 |ε其中s表示正或负号。 如 125.55e+15 和 232.147 二. 正规式（正则表达式） 是表示正规集的工具，也是用以描述单词符号的方便工具。 正规式表示字符串的格式。正规式r 完全由它所匹配的串集来定义。这个集合称为由正规式生成的语言，写作L（r）。该语言首先依赖于适用的字符集，它一般是A S C I I 字符的集合或它的某个子集。集合的元素称作符号。这个正规符号的集合称作字母表。 可以将正规表达式理解成程序设计语言中的单词的词型公式，它比正规文法更容易让人理解单词是按怎样的规则构成的。 正规式与正规集的定义： 设字母表为Σ，辅助字母表Σ={?，?，|，·，*，（，）} ； ?和?都是Σ上的正规式，表示的正规集分别为{?}和?； 任何a?Σ,a是Σ上的一个正规式，表示的正规集为{a}; 假定e1和e2都是Σ上的正规式，它们所表示的正规集分别为L(e1)和L(e2),则(e1),e1|e2,e1·e2和e1*也都是正规式，所表示的正规集分别为L(e1),L(e1)∪L(e2), L(e1)L(e2)和(L(e1))*。 4. 仅由有限次使用上述三步骤而定义的表达式才是Σ上的正规式，仅由这些正规式所表示的子集才是Σ上的正规集。 例： ?＝{a,b}， ?上的正规式和相应的正规集为： 正规式 正规集 a ｛a｝ a|b ｛a,b} ab ｛ab} (a|b)(a|b) ｛aa，bb,ab,ba} a* ｛?，a,aa, …，aa…aa｝ (a|b)* ｛ ? ,a,b,aa,ab,aab,abab, …} (a|b)*(aa|bb) (a|b)* ?*上所有含有两个相继的a或两个相继的b组成的串 例：令?＝{d,? ,e,＋,－{,则?上的正规式为： d*(.dd*| ?)(e(+|-|?)dd*|?)表示的是无符号数。 其中d为0～9中的数字。 比如：2,12.59,3.6e2,471.88e-1等都是正规式表示集合中的元素。 若两个正规式e1和e2所表示的正规集相同,则说e1和e2等价,写作e1=e2。 例如： e1= (a?b)和 e2 = b?a 又如： b(ab)? = (ba)?b；(a?b)? = (a??b?)? 4. r(s|t) = rs|rt (s|t)r = sr|tr 5. ?r