词法分析器–设计思路.pptVIP

词法分析器设计思路 实验内容 词法分析的主要任务是：从左到右逐个字符地扫描源程序，产生一个个单词(Token)，同时检查源程序中的词法错误。 思路 1、因为要分离出一个个单词，所以必须先知道怎样的字符串才是单词。在本实验中，是对simple语言进行扫描，所以，必须先把simple语言的单词都先存放到内存里后，才能继续进行操作。 and 1 output 21 * 41 array 2 procedure 22 */ 42 begin 3 program 23 + 43 bool 4 read 24 , 44 call 5 real 25 - 45 case 6 repeat 26 . 46 char 7 set 27 .. 47 constant 8 stop 28 / 48 dim 9 then 29 /* 49 do 10 to 30 : 50 else 11 true 31 := 51 end 12 until 32 ; 52 false 13 var 33 53 for 14 whilr 34 = 54 if 15 write 35 55 input 16 标识符 36 = 56 integer 17 整数 37 57 not 18 字符常数 38 = 58 of 19 ( 39 [ 59 or 20 ) 40 ] 60 思路 将这些单词存入内存怎样实现呢？ 方法一：声明一个二维数组string A[60][2]; 例如： A[0][0]=“and”; A[0][1]=“1”; A[1][0]=“array”; A[1][1]=“2”; …… 思路 将这些单词存入内存怎样实现呢？ 方法二：将每个单词声明成为一个结构类型的结点，每个单词的两个属性，即（单词本身值，种别）作为这个节点的两个域的内容。 struct node{ string word; string type; //这个type定义成为int类型也可以 }; node A[60]; A[0].word=“and”; A[0].type=“1”; …… 思路 2、要对源程序从左到右一个个进行扫描。这里涉及到几个问题： （1）源程序是放在一个txt文件里的，所以必须先打开该txt文件后，将里面的内容先读进来。 ifstream infile; infile.open(“文件名.txt”,iso::in); //读文件 infile.close( ); 具体的文件操作代码详见C++课本第10章！ 思路 例如： #includeiostream.h #includefstream.h #includestdlib.h void main(){ char s[100]; ifstream a; a.open(F:\\test.txt,ios::in); as; couts; } 这样做之后，文件test.txt里面的内容，就会存放在字符数组s里面了。 思路 2、要对源程序从左到右一个个进行扫描。这里涉及到几个问题： （2）当把txt的文件先已经读进来，放在字符数组a中之后，就要对这个数组里面的内容来逐个进行扫描，因为是从左到右扫描，所以是从数组的0号下标位置来扫描的。 思路 2、要对源程序从左到右一个个进行扫描。这里涉及到几个问题： （3）扫描的时候，怎样才能分隔出一个单词呢？ 空格，分号，回车符，逗号， 冒号，/号，*号，’号等等。 注意：要把所有可能的分隔符都 找出来；分号，逗号等这些符号， 自己本身就是单词。 program example2; var A,B,C:integer; X,Y:bool; begin /* this is an example */ A:=B*C+37; X:=’ABC’ end. 思路 2、要对源程序从左到右一个个进行扫描。这里涉及到几个问题： （4）通过分隔符分隔出来一个个词之后，怎么知道这个词是不是就是simple语言的单词呢？ 答：就是跟那个单词表（也就是前面我们所创建的那个二维数组）来比较。比如，分离出来了and这个单词了，就去二维数组里面，从下标为0的地方开始，看看if(A[0][0]==“and”)，如果是，表明这个就是单词了，那么就将A[0][0]和A[0][1]输出。 即cout“(“A[0][0]“,”A[0][1]“)”;