自然语言理解的全信息方法论研究.pdfVIP

第 自然语言理解的全信息方法论① 钟义信 北京邮电大学智能科学技术研究中心 北京 100876 yxzhong@ieee．org 摘要：在经济全球化需求的推动下，世界在酝酿一场“自然语言信息技术革 命”，它的基础和核心是“自然语言理解”的理论与方法。本文提出的“全信息自然 语言理解方法论”是作者的“全信息理论”在自然语言理解领域的应用，它的主要特 色是：从语言认知的观点出发，一方面，试图实现语法信息、语义信息、语用信 息的综合利用，同时寻求“规则方法”和“统计方法”的和谐互补，从而有效增强对 自然语言的理解和认知能力。近几年来，作者所在的北京邮电大学智能研究中心 应用这一方法论完成了一系列自然语言理解方面的课题，取得了一批可喜的研究 成果，表明全信息自然语言理解方法论具有很好的前景。 关键词：基于认知的自然语言理解 全信息理论 规则方法 统计方法 全 信息自然语言理解方法论 一、引言：为什么要特别关注自然语言理解I．uJ题 全球化的进程使得“和外国人打交道”不再是外交官们的专有事业，而成为普 通百姓的家常便饭。然而普通公众应用外语的能力却远非理想；即使是受过高等 教育的人，也只能掌握一到两种外语，而现存的不同语言却数以百计!因此，如 果机器能够理解人类自然语言，可以充当多语言翻泽，就将大大消除语言壁垒。 纵观科学技术进步的历史，“社会需求”是最强有力的杠杆：有什么社会需求， 就会出现什么科学技术来满足这种需求。全球化是人类社会进步不可抗拒的伟大 潮流，这一强大的世界性人类共同需求，必将激起一场巨大的全球性的“自然语言 信息技术革命”。 全球性“自然语言信息技术革命”将带来另一个意义更加重大的结果，这就是： 如果机器可以在一定程度上理解人类自然语言，就可以使人与机器的关系大大突 破“简单指令控制”的现状，实现机器与人类劳动者之间的智能沟通和智能合作， 从而实现“人为主导”的“人机共生”。这就必将导致前所未有的先进社会生产力的 出现和成长，导致崭新的人类社会的发展水平。 自然语言信息技术革命包含非常丰富的内容，但是最具本质意义的核心内容 是“自然语言理解”。这是显而易见的道理。信息检索、信息抽取、数据挖掘、知 识发现、文本分类、内容分析、信息监控、自动摘要、机器学习、机器翻译、人 机自然语言对话，基于自然语言的人机合作等，都是自然语言理解的各种具体应 用。由此可见，自然语言理解的理论和方法的确是非常值得关注的重要问题。 自然语言理解是人工智能的重要研究方向，目的是使机器能够在一定程度上 理解人类的自然语言。它是语言学、信息科学、认知科学、计算机科学的交叉研 究领域，涉及的问题很多，而且难度很大。本文将着重探讨自然语言理解的基本 方法论问题。 二、从语言认知的观点看自然语言理解与自然语言处理 要使机器能够理解人类的自然语言，显然是一个非常困难的问题。尤其，如 果要求机器达到像人一样的水平来理解人类的自然语言，那就更是遥不可及。人 们相信，要使无生命的机器系统同有智慧的人类一样理解人类的自然语言，几乎 不可思议。因此，人们通常回避对自然语言进行“理解”的目标，退而求其次，希 望利用一定的方法和技术对自然语言进行某些“处理”。于是，在科学技术文献中 Processing，简写为 就把这一研究领域称为“自然语言处理(NaturalLanguage NLP)”，而不是“自然语言理解(NaturalLanguageUnderstanding，简写为 NLU)”。 事实上，作为科学技术的研究目标，人们所追求的，不可能是具有与“人类理 解自然语言的能力”完全一样的机器，而是在“人类理解自然语言的机理”启发下， 实现机器对自然语言的“一定意义上的”理解，正如飞机不同于飞鸟、雷达也不同 于蝙蛹那样。 那么，什么是科学技术意义上的“自然语言处理”和“自然语言理解”? 一般而言，“自然语言处理”泛指对于人类自然语言所进行的一切有意义的操 作和分析，包括自然语言的分词操作，词性标注，词义标注，搭配关系标注，语 法分析，语义分析，语用分析，段落解析，篇章分析，以及与此相应的各种语言 学统计，如字频统计，词频统计，特征提取，关键词识别，短语识别，专有名词 识别，语言模型的统计和提取，虚词的识别，语句