编译原理第三章 词法分析222.ppt

第三章 词法分析 3.1 词法分析的任务 3.2 正则文法与状态转换图 3.3 有限自动机 3.4 正规式和正规集 3.5 扫描器生成 习题三 词法分析程序 词法分析是编译过程中的一个阶段，在语法分析前进行 ，也可以和语法分析结合在一起作为一遍。 输入：源程序字符串 输出：等价的属性字序列（内部表示形式） 词法分析程序的功能 词法分析程序主要执行以下功能： 读入源程序字符串，识别开具有独立含义的最小语法单位——单词（符号）； 把单词变换成长度统一的且为定长的属性字； 其他功能： 某些预加工处理----滤掉空格，跳过注释、换行符 单词表示形式： 常表示成二元式形式： (单词类别, 单词的值) 单词的类别是语法分析需要的信息， 单词自身的值则是编译其它阶段需要的信息,简称单词值。 如：语句const i=25,yes=1中的单词25和1的类别都是常数，其值分别为25和1； 对于标识符来说，还需要记载它的类别、所在层次等其它属性，这些属性一般都收集在符号表中，所以标识符的二元式形式相应地表示成： (标识符, 指针) 指针:指向该标识符在符号表的位置 单词类别:通常用整数编码。 一个语言的单词符号如何分类，分成几类，怎样编码取决于处理上的方便。 标识符一般统归为一类。 常数则宜按类型（整、实、布尔等