编译原理chpt3词法及其自动构造详解.ppt

词法分析程序（扫描器）的设计原则，单词的描述技术，识别机制及词法分析程序的自动构造原理。描述程序设计语言的词法的机制是3型文法和正则表达式，识别机制是有穷状态自动机。;回顾 什麽是词法分析程序;3.1 正规式与正规集;正规表达式与正规集（正规语言）; ;若两个正规式e1和e2所表示的正规集相同,则说e1和e2等价,写作e1=e2。 例如： e1= (a?b)与e2 = b?a e1= b(ab)? 与e2 =(ba)?b e1= (a?b)?与 e2 =(a??b?)?;正规表达式与正规集的代数规律;3.2 有穷自动机;3.2.1 确定的有穷自动机DFA;一个DFA 的例子：; DFA 的状态图和矩阵表示;∑*上的符号串t被DFA M接受;;3.2.2 不确定的有穷自动机NFA;;具有?转移的不确定的有穷自动机;∑*上的串t在NFA M=?K，?，f，S，Z?上运行;000 1010001 110000001 01100;NFA M→正规式R;例1;;对每个NFA N一定存在一个DFA　Ｍ ，使得 L(M)=L(N) 与某一NFA等价的DFA不唯一.;状态集合I的有关运算的例子;NFA确定化算法（子集法）;; 等价的DFA; 3.2.4 DFA的最小化;最小状态DFA;“分割法”; DFA的最小化算法;过程PP: Construction of ∏new; DFA的最小化—例子;图 跳过或识别C风格注释的有穷自动机;这种实现方式是将DFA“硬连”进代码之中。 另一种实现方式是将DFA表示为数据结构并基于该数据结构实现DFA的行为。;方法之二---表驱动;state = 1; ch = next input character; while not Accept[state] and not error(state) do newstate = T[state][ch]; if Advance[state][ch] then ch = next input char; state = newstate; end while; if Accept[state] then accept ;;3.4 词法分析程序的自动构造;正规式R=〉NFA M;(5) R=R1.R2 将步骤(1)、(2)、(3)分别应用到R1,R2 产生M1==(K1,∑,f1,k1,F1), M2=(K2,∑,f2,k2,F2),其中K1,K2不相交.构造的NFA M= (K1?K2,∑,f,k1,F2) : f包含f1和f2,且f(k1, ?)=k2, f(k,a)=f1(k,a),当 k?F1时; f(k,a)=f2(k,a),当 k∈ K2时; (6) R=R1* 将步骤(1)、(2)、(3)分别应用到R1,产生M1==(K1,∑,f1,k1,F1), 构造的NFA M= (K1? {k0,F0} ,∑,f,k0,F0),其中 k0,F0 是新增加的两个状态, f(k,a)=f1(k,a),当 k?F1时; f(k0, ?)=f(F1, ?)= {k1,,F0} ;对于正规式R=? ,构造的NFA;对于正规式R=R1 R2构造的NFA;;;R=(a|ab)* b b*;正规式用于说明(描述)单词的???构十分简洁、方便。可以把一个正规式转化为一个NFA，进而转换为相应的DFA，这个NFA或DFA正是识别该正规式所表示语言的句子的识别器。 正则式到DFA的转换过程可自动化，进而词法分析器的构造可自动化。LEX就是这样的一个自动化系统。;语法规则(.y文件);标准型LEX程序 %{ #include math.h #includestring.h #include”y.atb.h” %} DIGIT [0-9] ID [a-z][a-z0-9]* %% {DIGIT}+ {yylval.number=atoi(yytext); return number;} {ID} {strcpy(yylval.id,yytext); return id;} “+”|“-”|“*”|“/” return yytext[0]; %%;%{ #include math.h %} DIGIT [0-9] ID [a-z][a-z0-9]* %% {DIGIT}+ {printf(“An integer: %s (%d)\n”, yytext,atoi(yytext));} {ID} printf( An identifi