基于Earley算法的英语句法剖析系统.docVIP

基于Earley算法的英语句法剖析系统 唐建 赵川 （成都理工大学计算机科学与技术学院,成都,610059） 摘要：本文研究的是，使用基于上下文无关文法的Earley算法对英语句子进行分析，并得到句子准确的语法结构。为此，我们建立了词库，产生式规则库，并运用Earley算法实现了一个英语句法剖析系统。利用该句法剖析系统，我们能对结构比较常用的英语句子进行剖析，并得到句子可能的句法结构。 关键字：自然语言；上下文无关语法；Earley算法；句法剖析；  English syntactic analysis system based on Earley Algorithm Tang Jian Zhao Chuan (College of Computer Science and Technology, Chengdu University of Technology ,Chengdu 610059) Abstract: The topic of this paper is using Earley Algorithm based on Context-Free Gramar to analyse english sentence and get the correct structure of sentence. Therefore,We established a words library,a rule library and realized a English syntactic analysis system by using Earley Algorithm.Using this system,We can analyse usual English structure and get the correct structure of sentence. Key Words: Natural Language Understanding; Context-Free Gramar; Earley Algorithm; Syntactic analysis  1 引言 自然语言就是人类使用的各种语言，是人类交流和学习的重要工具。第一台电子计算机诞生后不久，人们就开始思考是否可以借助计算机来处理自然语言，并随之产生了一门新兴的学科—自然语言理解(Natural Language Understanding)，它研究使用电子计算机来模拟人类处理语言的过程，使计算机能理解和运用人类的自然语言，并最终实现机器翻译、人机之间的自然语言通信等目标。为了使计算机能理解人类的话语，首先要通过语音识别来识别人类说话的声音，并将声音转换成相应的自然语言的字串；然后，再对字串进行分词处理，把字串分成一个个独立的具有实际意义的自然语言的词；此后，再对得到的词串进行语法分析，获得句子的准确的语法结构；最后，将对句子进行语义分析，从而获得人类所说的话语的意义。本文主要分析自然语言的语法问题，并通过实际的编程语言来实现对自然语言的语法分析。 2 上下文无关语法及各种剖析算法 2.1 上下文无关语法 模拟英语和其他自然语言成分结构的最常用数学系统是上下文无关语法(Context-Free Gramar)，它是美国语言学家乔姆斯基(N.Chomsky) 在上世纪50年代根据公理化方法提出的一种语言的形式描述理论。上下文无关语法又称为短语结构语法(Phrase Structure Grammar)[1]。 一个上下文无关语法由一套规则(rule)或产生式(production)以及单词和符号的一个词表(lexicon)组成[1]，每个规则表示语言中的符号的组成和排序方式。例如一个名词词组(NP)可以由一个限定词(Det)和一个名词性成分(Nominal)组成，那么这个产生式规则就可以写为：NP - Det Nominal。产生式规则中有两类符号，一类是表示具体的词类，例如Det，它在产生式规则中不能再继续扩展，它们被称之为终极符号；而另一类，必须被继续展开，例如NP和Nominal,它们被称之为非终极符号。 2.2 基于上下文无关语法的各种句法剖析算法 在自然语言处理中，所谓句法剖析(Syntactic Parsing)，就是根据已经给出的上下文无关的产生式规则和词表来识别一个输入句子并且给这个句子指派一个正确的句法结构(例如，树形图，线图)的过程[2]。一个句子，通过句法剖析，很有可能得到若干个句法结构，当然只有一个是准确的，我们可以继续通过语义消歧等策略来找出唯一正确的结构，但这部分内容本文将不会进行讨论。 基于上下文无关语法的句法剖析算法有很多，例如自底向上剖析算法、自顶向下剖析算法、Earley算法(Earley