词法分析程序思想编辑原理.pdfVIP

3.1 词法分析程序 第 三 词法分析是翻译的第一阶段，是语法分析的必要准备。词法分析程序也称为扫描程序或扫描器 （scanner）。 元 词法分析是编译过程中的一个阶段，可以在语法分析前进行 。也可以和语法分析结合在一起作为一 元 ～ 遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。 目词 1.实现方法 录 法 分 ①作为 独的一遍 析 字符序列 单词序列 ───扫描器───语法分析器── . . . ②作为子程序 2.词法分析程序的主要任务 读源程序，产生 词符号 词法分析程序的其他任务： - 滤掉空格，跳过注释、换行符 - 追踪换行标志，复制出错源程序， - 宏展开 3.词法分析程序的输出 词可作各种分类，典型地分为５类： ①保留字 AND,BEGIN,FOR,TYPE,VAR等 ②标识符 用户定义的常量、类型、变量、过程名 ③常量 12, 1997, 4.14, ‘A’, 等 ④运算符 ＋，－，＊，／，，,!=,#等 ⑤界限符 ； ， （ ） 等 词法分析程序所输出的 词符号常常采用以下二元式表示： (单词种别，单词自身的值)。 词的种别是语法分析需要的信息，而单词自身的值则是编译其它阶段需要的信息。 比如在PASCAL的语句const i=25, yes=1；中的单词 25和1的种别都是常数，常数的值25和1对于代码生 成来说，是必不可少的。 有时，对某些单词来说，不仅仅需要它的值，还需要其它一些信息以便编译的进行。 比如，对于标识符来说，还需要记载它的类别、层次还有其它属性，如果这些属性统统收集在符号表 中，那么可以将单词的二元式表示设计成如下形式 (标识符，指向该标识符所在符号表中位置的指针) 如上述语句中的单词i和yes的表示为： (标识符，指向i的表 的指针) (标识符，指向yes的表 的指针) 词的种别可以用整数编码表示，假如 标识符编码为 1 常数为 2 保留字为 3 运算符为 4 界符为 5 程序段 if i=5 then x ∶=y；在经词法分析器扫描后输出的单词符号和它们的表示如下： - 保留字if(3，if) - 标识符i(1，指向i的符号表入口) - 等号=(4，=) - 常数5(2，5) - 保留字then(3，then) - 标识符x(1，指向x的符号表入口) - 赋值号 ∶=(4， ∶=) - 标识符 y(1，指向y的符号表入口) - 分号；(5，；) 4.词法分析在实际操作中 对于每种语言，保留字、运算符和界限符是固定的，可以 “一字一类”或 “一符一类”，预先造好标准 单词表。 常数虽然也是固定的，但个数太多，而每个程序只用很少一部分，不宜预先造表。编译只对源程序中出 现的各类常量造表，如整数表、实数表、字符串表等。 例如: 整数表IntTab存放源程序中的整常数,扫描器拼出整数时，查IntTab表，若无此数，则填入表中；若已 有此数，则不在填入，而把该数在表中的地址intp作为其机内码的一部分，由它联系机内码和数值。 标识符的意义是由用户定义的，与常量类似，编译器也构