编译原理词法解析.docVIP

目 录 一．实验目的 1 二．实验要求 1 三．实验内容 1 四．实验测试代码及结果 10 五．实验总结 17 一．实验目的 通过设计编写一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 二．实验要求 编写一个对输入源程序进行词法分析的程序，该程序能够识别出输入源程序中各个具有独立意义的单词，包括保留字、标识符、无符号整数、运算符、分隔符、未知字符六大类；并输出一个包含各个单词的内部编码及单词符号自身值的报表。 三．实验内容 所识别语言词法的EBNF表示 保留字 ::= if, int, for, while, do,return, break, continue, double, float, char, byte,const, private, public, protected, class, package,static, void, throw（java语言常用保留字） 标识符 ::= 字母{字母|数字 } 无符号整数 ::= 数字{数字} 运算符 ::= + | - | * | / | = | ++ | --|+= | -= | *= | /=|||| | | ~ 判别符 ::= | = | | = | != | == | | || 分隔符 ::= ( | ) | { | } | [ | ] | ; | , | . | | 字母 ::= a | b | c | … | z| A | B |… | Z 数字 ::= 0 | 1 | 2 | … | 9 单词种别码 保留字：单词种别码均为1。 标识符：单词种别码均为2。 无符号整数：单词种别均码为3。 运算符/判别符：单词种别码均为4。 分隔符：单词种别码均为5。 未知字符：单词种别码均为6。 词法分析程序包含的模块、各模块间的关系图、程序流程图、全局变量、函数接口等。 模块： 主函数模块：新建类对象，调用各个模块。 读文件模块：获取源程序文件的输入流。 判断单词种别模块：从文件流中读取字符并且判断读入的单词种别，将结果保存至Token对象中。 输出模块：将Tokens对象数组输出并保存到文件。 写文件模块：打开文件输出流，将分析结果写入文本文件。 模块关系图： 程序流程图： 类变量 内部类，存放二元式 class Token { public int type;// 字符类型 public String str;// 字符 } 字符类型常量 public static final int OPERATOR1 = 0; public static final int KEY_WORD = 1; public static final int IDENTIFIER = 2; public static final int NUMBER = 3; public static final int OPERATOR = 4; public static final int DELIMITER = 5; public static final int UNKONWN = 6; public static final int END_OF_FILE = 65535; 保存关键字、分隔符、运算符的数组 private String[] keyword = new String[]{if, int, for, while, do,return, break, continue, double, float, char, byte,const, private, public, protected, class, package,static, void, throw}; private String[] operator = new String[]{=, , , =, +=, -=, *=, /=, ++, --, !=, , ||, =, |=, ==}; private char[] operator1 = {+, -, *, /, ~, , , , |, =, ~}; private char[] delimiter = {,, {, }, [, ], (, ), ., ;, \, \}; 类向量，用来存放二元组 private VectorToken tokens = new VectorToken(); 文件输入流 private FileInputStream fis; 文件输出流 private FileWriter fw