自然语言处理人工智能技术的一个掌上明珠.pdfVIP

自然语言处理:人工智能技术的一个掌上明珠

自然语言处理（NaturalLanguageProcessing，简称NLP）是人工智能

（ArtificialIntelligence，简称AI）领域中的一个重要方向，被誉为人工智

能技术的一个掌上明珠；它研究能实现人与计算机之间用自然语言进行有

效通信的各种理论和方法，涉及面极为广泛。国际知名学者周海中先生曾

经指出：“自然语言处理是极有吸引力的研究领域，它具有重大的理论意

义和实用价值。”目前，NLP已成为推动科技进步的强大动力和提高综合

国力的关键支撑。

NLP主要研究能实现人与计算机之间用自然语言进行有效通信的各种

理论和方法。而用自然语言与计算机进行通信，有着十分重要的实际应用

意义，也有着革命性的理论意义。实现人机间自然语言通信意味着要使计

算机既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意

图、思想等；前者称为自然语言理解（NaturalLanguageUnderstanding，简

称NLU），后者称为自然语言生成（NaturalLanguageGeneration，简称

NLG）。因此，NLP大体包括了NLU和NLG两个部分。因为处理自然语

言的关键是要让计算机“理解”自然语言，所以通常把NLU视为NLP，也

称为计算语言学。

NLP是一门融语言学、计算机科学、数学于一体的科学。因此，这一

领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的

研究有着密切的联系，但又有重要的区别。NLP并不是一般地研究自然语

言，而是研制能有效地实现自然语言通信的计算机系统，特别是其中的软

件系统。因而它是计算机科学的一部分。可以说，NLP是计算机科学、语

言学、AI等关注计算机和人类语言之间的相互作用的领域。目前，人们对

AI的需求也从计算智能、感知智能到了以NLP为代表的认知智能的层

面。没有成功的NLP，就不会有真正的认知智能。

由于AI包括感知智能（比如图像识别、语言识别和手势识别等）和认

知智能（主要是语言理解知识和推理），而语言在认知智能起到最核心的

作用。如果能把语言问题解决了，AI最难的部分也就基本解决了。美国微

软公司创始人比尔·盖茨先生曾经表示，”语言理解是人工智能领域皇冠上

的明珠“。前微软公司全球执行副总裁沈向洋先生也在公开演讲时说：“懂

语言者得天下……下一个十年，人工智能的突破在自然语言的理解……人

工智能对人类影响最为深刻的就是自然语言方面”。由于理解自然语言需

要关于外在世界的广泛知识以及运用操作这些知识的能力，所以NLP也被

视为解决AI完备（AI-complete）的核心问题之一。可以说，NLP目前是

AI领域的关键核心技术，对它的研究也是充满魅力和挑战的。

最早的NLP研究工作是机器翻译。1949年，美国知名科学家沃伦·韦

弗先生首先提出了机器翻译设计方案。20世纪60年代，许多科学家对机

器翻译曾有大规模的研究工作，耗费了巨额费用；但他们显然是低估了自

然语言的复杂性，加上语言处理的理论和技术均不成熟，所以进展不大。

当时的主要做法是存储两种语言的单词、短语对应译法的大辞典，翻译时

一一对应，技术上只是调整语言的同条顺序。但日常生活中语言的翻译远

不是如此简单，很多时候还要参考某句话前后的意思，需要上下文联系起

来才能正确翻译--这就是机译技术难度高之所在。

大约20世纪90年代开始，NLP领域发生了巨大的变化。这种变化有

两个明显的特征：

（1）对系统的输入，要求研制的NLP系统能处理大规模的真实文

本，而不是如以前的研究性系统那样，只能处理很少的词条和典型句子。

只有这样，研制的系统才有真正的实用价值。

（2）对系统的输出，鉴于真实地理解自然语言是十分困难的，对系

统并不要求能对自然语言文本进行深层的理解，但要能从中抽取有用的信

息。同时，由于强调了“大规模”和“真实文本”。

所以下面两方面的基础性工作也得到了重视和加强：

（1）大规模真实语料库的研制。大规模的经过不同深度加工的真实

文本的语料库，是研究自然语言统计性质的基础；如果没有这样的语料

库，统计方法只能是无源之水。

（2）大规模、信息丰富的词典的编