第2讲词法分析(免费阅读).pptVIP

CompilerPrinciples 第二讲 词法分析 词法分析器的构造 正规表达式与有穷自动机 词法分析器的自动产生 §1.词法分析器的构造 编译程序首先在单词级别上来分析和翻译源程序。词法分析的任务是：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号，即把作为字符串的源程序改造成为单词符号串的中间程序。因此，词法分析是编译的基础。执行词法分析的程序称为词法分析器(通常又称为扫描器,scanner）。 一、一般考虑： 1.词法分析程序的主要任务： 读入字符串形式的源程序—输入 剔除非单词符号—空格符、换行符，跳过注释 拼单词符号—**、:=、FOR、BEGIN等 捻接语句行并产生语句结束标志 源程序的列表输出 宏展开，…… 2.词法分析器的输入和输出形式 输入—字符串形式的源程序 输出—单词符号串。 程序语言的单词符号一般分为五种： 关键字、运算符、界符、标识符、常数 词法分析器输出的单词符号常常表示为二元式： （单词种别，单词符号的属性值） ★单词种别通常用整数编码 单词种别是对单词符号的一种分类。一个语言的单词符号如何分种，分成几种，怎样编码是一个技术性问题。它取决于处理上的方便。标识符一般统归为一种。常数则宜按类型（整、实、布尔等）分种。关键字可视其全体为一种，也可以一字一种。采用