探索Antlr.docxVIP

探索Antlr（Antlr 3.0更新版）? 简介 HYPERLINK Antlr（ANother Tool for Language Recognition）是一个工具，它为我们构造自己的识别器（recognizers）、编译器（compiler）和转换器（translators）提供了一个基础。通过定义自己的语言规则，Antlr可以为我们生成相应的语言解析器，这样便可以省却了自己全手工打造的劳苦。目标如同程序设计语言入门大多采用“Hello World”一样，编译领域的入门往往选择计算器。而这里迈出的第一步更为简单：一个只能计算两个数相加的计算器，也就是说，它可以计算“1+1”。基础知识先来考虑一下如何下手，如果你曾经接受过编译原理的教育，权当忆苦思甜了。这个计算器工作的前提是有一个需要计算的东西，不管我们是以文件的形式提供，还是手工输入，至少我们可以让我们的计算器知道“1+1”的存在。有了输入之后，我们要先检查输入的正确性，只有对正确的输入进行计算才是有意义的。如同写文章有形式和内容之分，这里的检查也要细分一下，率先完成的检查当然是面子功夫——形式上的东西，看看是否有错别字的存在，我们要做的是数值相加，结果人家给出了一个字母，这肯定不是我们希望得到的，所以我们有权力拒绝这个不合法的东西。对于程序员来说，如果在自己的程序里写了一个语言不接受的标识符，比如在Java里用“123r”做标识符，那编译器肯定会罢工，拒绝让程序通过编译的。在编译原理里面，这个过程叫做词法分析。在我们的计算器中，我们只接受整数和加号，其它的一概不理。这里我们说的是“整数”，而非 “1”、“2”……，对我们来说，它们代表着同一类的东西，编译原理教导我们把这这种东西叫做token，那些数字对我们来说，都是一样的token，不同的仅仅是它们的值而已。形式说得过去并不代表内容就可以接受，南北朝时期许多骈体文让我们看到了隐藏在华丽的外表下的空虚灵魂。你可以说 “我吃饭”，如果说“饭吃我”，除非是在练习反正话的场合，否则没有人会认为它是有意义的，因为显然这不是我们习惯的主谓宾结构。只有在闯过了词法分析的关口，才能到达这里，在编译原理里面，我们把这个阶段叫做语法分析。如果说词法分析阶段的输入是字符流的话，那么语法分析阶段的输入就是token流——词法分析的输出。我们这里接受的合法语法是“整数 加号 整数”。编写语法文件好了，制订好自己的语言规则之后，我们需要以Antlr的语言把它描述出来。下面便是以Antlr的语言描述的语法：grammar Calculator; ?expr:?? INT PLUS INT; ?PLUS? : + ; INT?? : (0..9)+ ; Antlr的语法文件通常会保存在一个“.g”的文件中，我们的语法文件叫做“Caculator.g”。 ?我们来看看这里的定义： expr:?? INT PLUS INT; ?这条语句定义了expr，它等价于“:”右边的部分，也就是说， * 一个INT，后面跟着一个PLUS，后面再接着一个INT。 ?至于INT和PLUS，它来自后面的定义： PLUS? : + ; INT?? : (0..9)+ ; ?* PLUS定义的token，就是一个单一的“+”* INT定义的token，由从0到9之间任意的数字组成，后面的加号表示它是可以重复一次到多次 ?如果你曾经与Antlr 2.x有过一面之缘，你会发现，这个语法文件与Antlr 2.x的语法文件有着些许不同。首先，我们没有区分词法分析和语法分析，由上面的代码可以看出，二者在形式上是一致的，不同的是，对于词法分析的输入是字符，而语法分析的输入是词法分析的结果，也就是token。Antlr 2.x必须显式的区分这二者，而在Antlr 3.0之后，Antlr会替你料理这一切。再有，这里的语法文件名必须与grammar定义的名字保持一致，对于Java程序员，这是一个顺其自然的选择。 编译语法文件如同不编译的程序是无法发挥其威力一样，单单语法文件对我们来说，并没有很大的价值。我们的工作就是使用Antlr提供工具对我们的语法文件进行编译，不同于日常的编译器输出可执行文件，这里的输出是程序语言的源文件。Antlr缺省目标语言是Java语言，它也可以支持C，C#和Python语言，其他的语言尚在开发之中，从3.0发布包结构来看，Ruby的支持很快就会加进来。?将Antlr提供的JAR文件加入到classpath中，其中包括Antlr 2.7.7，Antlr 3.0与其runtime，stringtemplate。你没看错，除了3.0，这里还包含着2.7.7。原因很简单，Antl