词法分析器实验报告.docxVIP

词法分析器实验报告 a) Motivation/Aim 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 通过自己动手编写词法分析器，掌握记号、模式与单词，掌握正规式与正规集，掌握有限自动机，掌握如何从正规式到词法分析器的各种算法。理解如何理论联系实际以及明白理论与实际的差别。 b) Content description 1)Input 输入字符流 Stream of characters CFG(Combination of CFGs of some classes of sentences) 2)Output 输出字符序列 Sequence of derivations if top-down syntax analyzing methods are used. Sequence of reductions if bottom-up syntax analyzing methods are used. 3)Classes of sentences are defined by yourself 类句由自己定义 4)Error handling may be included 包括错误处理 c)Ideas/Methods ? 词法分析程序要求具有如下功能:读入字符串形式的源程序;识别出具有独立意义的最小语法单位:单词符号。由正规表达式RE到最小化DFA的转换程序中的测试生成串部分就是对所输入的单词进行判断，看其是否能被生成的DFA接受（也就是这个单词是否符合正规式定义的要求）。 定义某种语言的单词符号。该语言单词包括：保留字、运算符、标识符、常量、格式符等。根据给定的语言子集构造词法分析器。输出为中间文件。 不使用内部编码而用枚举对同类型的单词进行标识。 大概的设计方法是： ??? ???????? 1、根据要求写出词法分析的正规文法G； ??? ???????? 2、根据正规文法G，写出正则式RE； ??? ???????? 3、根据正则式RE，画出NFA； ??? ???????? 4、将NFA转化为DFA； ??? ???????? 5、将DFA转化为mininum state DFA； ??? ???????? 6、mininum state DFA就是词法分析程序的流程图，根据此流程图编写相应的词法分析程序。 d)Assumptions 假设关键字有这些： asm, auto, bad_cast, bad_typeid, bool, break， case, catch, char, class，const, const_cast, continue,default, delete， do, double, dynamic_cast, else, enum,except, explicit, extern, false,finally, float, for, friend, goto, if, inline, int, long, mutable, namespace, new, operator, private, protected, public, register, reinterpret_cast, return, short, signed, sizeof, static, static_cast, struct, switch, template, this, throw, true, try, typedef, typeid,typename, union, unsigned, using, virtual, void, volatile, while. 假设运算符和界符有这些：=， ，| ，： ，+ ，- , , ,* ,\ , % ,^ ,! ,; ,{ ,} , , , # ,[ , ] ,( , ) 其他单词是标识符（identifier）和整型常数（constant），通过以下正规式定义： identifier = letter (letter | digit)* constant = digit digit* 空格有空白、制表符和换行符组成。空格一般用来分隔标识符、整型常数、运算符、界符和关键字，词法分析阶段通常被忽略。 e)Related FA descriptions 除了运算符、界符和关键字，其他单词是标识符（identifier）和整型常数（constant），通过以下正规式定义： identifier = letter (letter | digit)* constant = digit digit* f)Description of important Data Structures 枚举记号种类 enum token_category { token_