语言计算模型研究.docxVIP

语言计算模型研究 1 研究语言的必要性 本文讨论的“自然景观处理”是指使用计算机网络对自然景观的各级语言单位进行自动处理，包括转换、分析和理解单词、短语、短语、章节等。与电子计算机的发展历史相比,自然语言处理算是一门很“老”的学科了。电子计算机刚刚问世,计算机科学家就对语言的机器处理备感兴趣,不久语言学、心理学、认知科学、人工智能等不同领域的学者也纷纷参入他们的研究队伍,一门新的研究领域——自然语言处理从此诞生。翻开它的历史,人们会发现,自然语言处理的发展道路并不平坦,研究工作跌宕起伏,时而乐观,时而悲观。人们对自然语言自动处理的困难通常估计不足,对它发展的前景往往过于乐观。可是,实践却一再表明事实并非如此,研究工作总是困难重重,进展缓慢,于是引来了悲观情绪。奇怪的是,这种乐观与悲观情绪的交替、循环在半个多世纪自然语言处理的发展历史上却不断地重演着。 早在二次世界大战期间,现代电子计算机还处于襁褓之中,利用计算机来处理自然语言的想法就已经出现了。当时人们从破译军事密码的工作中得到启示,以为不同的语言(中文,英文,还有其他语种)只不过是对“同一语义”的不同编码而已。于是想当然地认为,采用译码技术“破译”(理解)这些“码”(语言)应该不成问题。结果却大大出乎人们的意料,自然语言自动处理居然比破译密电码困难得多! 1956年人工智能诞生之时,该领域的创始人就把计算机国际象棋(Computer Chess)和机器翻译(Machine Translation)作为两个标志性的任务提出来,认为只要计算机的象棋程序打败国际象棋世界冠军,机器翻译程序达到人类翻译的水平,就可以宣告人工智能的胜利。他们对此充满信心,以为凭借计算机的计算能力,将会在很短的时间里达到预定的目标。如认知心理学家H. Simon 认为十年内这两项目标都可以实现。大家知道,实际上,直到1997年,即40年(不是10年)以后,IBM的国际象棋程序——深蓝(Deep Blue)打败国际象棋世界冠军卡斯帕罗夫,才宣告第一项任务的胜利完成。而机器翻译呢?至今依然是一项十分困难的任务!这些过分乐观的估计至今一直成为人们质疑人工智能的一个口实和笑柄。人们一再低估自然语言处理的困难。 然而,跌宕起伏的历史也正是自然语言处理研究工作的魅力所在,它吸引着千千万万的研究者去研究自然语言的复杂性,探索其中的原因,寻求机器自动处理的方法。至今大多数研究者主要从语言本身的复杂性来探讨这些问题,找到了其中的许多原因,其中包括: 存在于各级语言单位(字、词、句、篇章等)的局部歧义性(Local Ambiguity),上下文的影响(Contextual Dependency),语法与语义的相互依赖关系,语言环境,知识背景等等。毫无疑问,语言处理的复杂性来源于语言本身的复杂性,因此上述研究成果对于进一步理解自然语言的特点,以及改进机器处理的性能,都起过很好的作用。不过,在自然语言自动处理过程中,计算机处理的直接对象并不是实际的自然语言,而是它的计算模型,因此要真正理解自然语言自动处理的问题,并找出解决的办法,还需要从语言处理建模的角度来探讨这些问题,可惜目前这方面的探讨还不多,本文将着重讨论它。 2 语言学处理的优化 现实的自然语言系统N(Natural Language)十分复杂,不可能作为计算机的直接处理对象。为了使它成为可处理的对象,首先需要根据处理的要求,把它抽象为一个问题P(Problem),比如P是自然语言N中的分词问题。然后根据给定的输入、输出集(I,O),以及问题P,建立一个数学模型M(Model),以及与其相关的有效算法A(Algorithm)。M与A组成了问题P的计算模型F(Computational Model)。显然,同一个模型M,可以采用不同的算法,因此计算模型F取决于采用的数学模型M,M是模型的本质,而算法只是实现的手段。有了计算模型F,在给定的输入集(I)下,就可以计算出输出O,因此O也可称为F的解。或者说,通过计算模型F,我们对自然语言中的P问题进行处理(如图1所示)。因此研究自然语言自动处理的关键是研究计算模型F。 给定计算模型F(I,O), 其中I是输入集,即一组数据,O是输出集,通常由语义空间的元素组成。以汉语分词为例,输入一个句子“南京市长江大桥”,对于计算机来讲,这个句子只不过是由“0”和“1”组成的机器码,即一组数据。我们要求的输出是: 按照语义切分出句子中的词。因此模型F的作用就是按语义对数据I进行分类,分类的结果就是输出O。可以说,F是数据空间I到语义空间O的映射(Mapping),即映射F:I→O。一切自然语言的自动处理问题P,都可以抽象为这样一个映射问题。于是我们把所有的自然语言处理(分词、词性标注、词法分析、语言理解等等)归结为一个普适的科学问题-映