第三章词法分析1-5.ppt

举例:单词符号及其内部表示形式 举例: 代码段 while (i=j) i--; 分析后的单词符号序列为 while , － ( , － id , ptr-i = , － id , ptr-j ) , － id , ptr-i － － , － ; , － 接口设计 独立一遍 被编译程序的总控程序调用, 完成词法分析调用一次，生成整个单词序列(二元式), 并存放于文件中。 待语法分析进入工作时，从文件输进这些单词符号进行分析。 则须在文件中保存整个源程序的内码形式，不是很必要。 子程序 语法分析程序调用, 调用一次识别并输出一个单词给语法分析器。 更合适，我们假定词法分析按此方式工作。 例4：设一小语言所有单词符号及其内部表示形式 3、状态转换图的实现 （1）变量和过程 ch：字符变量, 放当前读入字符 strToken：字符数组, 放单词的字符串 GetChar：取字符过程 取下一字符到ch ；搜索指针+1 GetBC：滤除空字符过程 判ch =空? 若是,则调用GetChar Concat：子程序过程 把ch中的字符拼入strToken IsLetter, IsDigit：布尔函数 ch中为字母、数字时返回.T. Reserve：整型函数 按strToken中字符串查保留字表 查到回送保留字编码;否则回送0 Retract：子程序过程, 搜索指针回退一字符 InsertId：函数, 将标识符插入符号表，返回符号表指针 InsertConst函数, 将常数插入常数表，返回常数表指针 （2）程序段 不含回路的分叉结点对应的程序段可表示为 GetChar(); if (IsLetter()) {…状态j的对应程序段…} else if (IsDigit()){…状态k的对应程序段…} else if(ch=‘/’) {…状态l的对应程序段…} else{…错误处理…} 含回路的状态结点对应的程序段可表示为 GetChar(); while(IsLetter() or IsDigit()) GetChar(); …状态j的对应程序段… （3）扫描器总控程序 int code,value; strToken=“”; GetChar();GetBC()’ If (IsLetter()) { while(IsLetter() or IsDigit()) { Concat();GetChar();} Retract(); code=Reserve(); if(code==0){ value=InsertId(strToken); return($ID,value);} else return(code,-);} else if(IsDigit()) { while(IsDigit()) {Concat(); GetChar();} Retract(); value=InsertConst(strToken); return($INT,value);} else if (ch==‘=‘) return($ASSIGN,-); else if (ch==‘+‘) return($PLUS,-); else if(ch==“*”) { Getchar(); if(ch==‘*’) return($POWER,-); Retract();return($STAR,-);} else if(ch==‘:’) return($SEMICOLON,-); else if(ch==‘(’) return($LPAR,-); else if(ch==‘)’) return($RPAR,-); else if(ch==‘{’) return($LBRACE,-); else if(ch==‘}’) return($RBRACE,-); else ProcError(); 3.3 正规表达式与有限自动机 目的： 形式化地描述词法规则和词法分析程序 词法分析程序的自动生成 主要内容 基本概念 正规