实验一词法分析实验（Java版）.docVIP

词法分析 PAGE 3 - 实验一 词法分析 一、实验目的： 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 二、实验预习提示 词法分析器的功能和输出格式 词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。本实验中，采用的是一类符号一种别码的方式。 单词的BNF表示 标识符- 字母字母数字串 字母数字串-字母字母数字串|数字字母数字串| 下划线字母数字串|ε 无符号整数- 数字数字串 数字串- 数字数字串 |ε 加法运算符- + 减法运算符- - 大于关系运算符- 大于等于关系运算符- = 3、“超前搜索”方法 词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a10”,当前字符为’’，此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’1’，这时可知应将’’解释为大于运算符。但此时，超前读了一个字符’1 4、模块结构 缓冲区扫描一个字符 缓冲区 扫描一个字符 主函数main() N 输入文件名，判断能否打开文件 Y 缓冲区中是否还有字符 Y 结束 取单词 扫描一个字符 调用 返回 输出 N （一）准备： 1.阅读课本有关章节，明确语言的语法，写出基本保留字、标识符、常数、运算符、分隔符和程序例。 2.初步编制好程序。 3.准备好多组测试数据。 （二）上课上机： 将源代码拷贝到机上调试，发现错误，再修改完善。 第二次上机调试通过。 （三）程序要求： 程序输入/输出示例： （1，” （1，”main”） （5，”（“） （5，”）“） （5，”{“） （1，”int”） （2，”a1”） （5，”,”） （2，”b”） （5，”;”） （1，”if”） （5，”（“） （2，”a1”） （4，”=”） （3，”10” （5，”）”） （2，”b”） （4，”=”） （2，”a1”） （4，”+”） （3，”20” （5，”;”） （5，”}“） main() { int a1,b; if(a1 = 10) b = a1 + 20; }# 要求输出如右图。 要求： 一、将单词分为五种 识别关键字：main、if、int、for、while、do、return、break、continue； 单词种别码为1。 标识符；单词种别码为2。 常数为无符号整形数；单词种别码为3。 运算符包括：+、-、*、/、=、、、=、=、!= ； 单词种别码为4。 分隔符包括：,、;、{、}、(、)； 单词种别码为5。 二、使用一符一种的分法 关键字、运算符和分界符可以每一个均为一种 标识符和常数仍然一类一种 缓冲区扫描一个字符 缓冲区 扫描一个字符 主函数main() N 输入文件名，判断能否打开文件 Y 缓冲区中是否还有字符 Y 结束 取单词 扫描一个字符 调用 返回 输出 N public class Main { public static void readFileByLines(String fileName) { File file = new File(fileName); BufferedReader reader = null; Judge judge = new Judge(); FenCi fc = new FenCi(); try { // 以行为单位读取文件内容，一次读一整行： reader = new BufferedReader(new FileReader(file)); String tempString = null; // 一次读入一行，直到读入null为文件结束 while ((tempString = reader.readLine()) != null) { // 显示行 ListString wordList= fc.fen2(tempString); for(int k=0;kwordList.size();k++){ System.out.println(( + judge.test(wordList.get(k)) + :\ + wordList.get(k) + \)); } } r