slide03编译原理实验导引(一).pptx

第三讲 词法分析词法分析 词法分析概述 词法分析程序的设计与实现 词法分析程序的自动构造词法分析概述 词法分析程序（Lexical Analyzer）或 词法扫描程序（Scanner）的作用 从左至右扫描构成源程序的字符流 识别出有词法意义的单词（Lexemes） 返回单词记录（由单词记号（Token）和单 词的属性值组成），或词法错误信息 除以上主要任务外，常伴有如下任务 滤掉空格，跳过注释、换行符，追踪换行标志， 复制出错源程序，宏展开，…… 也可能包含访问符号表的操作词法分析概述 编译程序主题中如何组织词法分析程序 可以作为单独的一遍 较常用的方式是由语法分析程序调用 基本任务都是识别单词词法分析概述 例：Pascal 程序文本 position := initial + rate * 60； 经词法分析程序处理后，转换为下列单词序列词法单元（对应一个单词记号） 单词属值 标识符 position 赋值算符(:=) 标识符 initial 加算符(+) 标识符 rate 乘算符(*) 整数常量 60 分号(；) 词法分析程序的设计与实现 常用的单词描述工具 扩展巴克斯范式（EBNF） 状态转换图 正规表达式 有限状态自动机词法分析程序的设计与实现 实例: 某语言词法分析程序的设计 单词类别（种别）的 EBNF 描述 词法分析程序的设计与实现 实例: 某语