[理学]第三章 词法分析1.pptVIP

第三章　词法分析 本章内容 词法分析器：将源程序的字符流翻译成记号流，以及用户接口等任务 构造词法分析器 手工 自动生成 重点 正则表达式 有限状态自动机 自动生成工具：Lex/Flex 词法分析器的主要任务 读入输入字符，产生token序列，交给语法分析使用； 相关辅助任务 过滤注释、空格等； 为了报错，记录每个token在源文件中的位置 3.1.1 词法分析中的问题 Simplicity of design is the most important consideration. Compiler efficiency is improved. Compiler portability is enhanced. 3.1.2 词法记号、模式、词法单元 词法记号(token)：源语言文法的终结符，用token name, token value表示。 模式(pattern)：源语言中特定记号的构成规则，可以用正则表达式示。 词法单元(词素，lexeme)：源程序中和记号的模式相匹配的字符串。 example C statement： printf(“total=%d”, score) id, printf (, literal, “total=%d” ,, id, score ), 记号的例子 记号的例子 下列结构作为token：关键字、操作符、标识符、常量、字符串、标点符号 One token for each keyword. Tokens for the operators One token representing all identifiers. One or more tokens representing constants, such as numbers and literal strings. Tokens for each punctuation symbol 3.1.3 词法记号的属性 用二元组记号，属性值表示；属性一般用符号表的指针来表示 例如，position := initial + rate * 60 ?id，指向符号表中position条目的指针? ?assign _ op， ? ?id，指向符号表中initial条目的指针? ?add_op，+? ?id，指向符号表中rate条目的指针? ?mul_ op, *? ?num，整数值60? 3.1.4 词法错误 词法分析器对源程序采取非常局部的观点 难以发现下面的错误 fi (a == f (x) ) … 在实数是a.b格式下，可以发现下面的错误 123. 紧急方式的错误恢复 错误修补 3.2 词法记号的描述 正则表达式是模式的重要表示方法。 3.2.1 串和语言 字母表：有限符号的集合，例：? = {0,1} 字符串：符号的有穷序列，例：0110, 字符串s的长度：出现在s中符号的个数，记作|s| 空串：长度为０的符号串，用?表示 语言：给定字母表上的任意一个字符串集合 {?,0,00,000,…}, {?}, ? 句子：属于语言的字符串 字符串例子及术语 Suppose: S is the string banana 语言(Language) 语言(Language)：某个给定字母表上一个任意可数的字符串集合。 Special Languages: ? and {?} 语言的例子 串的运算 连接 xy s? = ?s = s 乘积（指数） 定义s0为?，si为si-1s（i 0） s1=s, s2=ss, s3=sss,… 3.2.2 语言上的运算 语言的运算 和：L∪M = {s | s ?L 或 s ? M } 连接：LM = {st | s ? L 且 t ? M} 指数：L0 ={? }，Li = Li -1L 闭包：L? = L0 ∪ L1 ∪ L2 ∪… 正闭包： L+ = L1 ∪ L2 ∪… 语言运算的例子 L = { A, B, …, Z, a, b, …, z }，D = { 0, 1, …, 9 } L ? D is the set of letters and digits; LD is the set of strings consisting of a letter followed by a digit; L4 is the set of all 4-letter strings L* = { All possible strings of L plus ? } L (L ? D )* is the set of all strings of letters and digits beginning with a letter. D+ is th