第2讲--词法概论.ppt

CompilerPrinciples 第二讲 词法分析 词法分析器的构造 正规表达式与有穷自动机 词法分析器的自动产生 §1.词法分析器的构造 编译程序首先在单词级别上来分析和翻译源程序。词法分析的任务是：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号，即把作为字符串的源程序改造成为单词符号串的中间程序。因此，词法分析是编译的基础。执行词法分析的程序称为词法分析器 通常又称为扫描器,scanner）。 一、一般考虑： 1.词法分析程序的主要任务： 读入字符串形式的源程序—输入 剔除非单词符号—空格、换行，注释 宏展开，…… 拼单词符号—**、: 、FOR、BEGIN等 源程序的列表输出 行号 2.词法分析器的输入和输出形式 输入—字符串形式的源程序 输出—单词符号串。 程序语言的单词符号一般分为五种： 关键字、运算符、界符、标识符、常数 词法分析器输出的单词符号常常表示为二元式： （单词种类编号，单词符号的属性值） 单词种类编号 一个语言的单词符号分成几种，怎样编码是一个技术性问题，它取决于处理上的方便。 标识符一般归为一种。常数则宜按类型（整、实、布尔、字符等）分种。关键字可视其全体为一种，也可以一字一种。采用一字一种的分法实际处理起来较为方便。运算符可采用一符一种的分法，但也可以把具有一定共性的运算符视为一种。至于界符一般用一符一种的分法。 单词符号的