汉语词汇语义研究和词汇知识库建设.PDFVIP

汉语词汇语义研究及词汇知识库建设* 1 1 2 3 4 俞士汶 朱学锋 段慧明 吴云芳 刘扬 北京大学计算语言学研究所 1 yusw@ 2 duenhm@ 3 wuyf@ 4 liuyang@ [摘要] 信息技术，特别是 Internet 上搜索引擎技术的需求为汉语词汇语义的研 究拓展了广阔的空间。本文论述词汇语义研究在自然语言处理技术中的意义以及 自然语言处理技术对词汇语义研究所提出的新要求；本文重点介绍北京大学计算 语言学研究所面向自然语言处理研制中文词汇知识库的成果：（1）现代汉语语法 信息词典，（2）现代汉语语义词典，（3）中文概念词典，（4）现代汉语词义标注 语料库。本文最后介绍将这些独立存在的词汇知识库集成为综合型语言知识库的 构想、技术方案和已经取得的阶段性进展。 关键词 汉语词汇语义学，词汇知识库，现代汉语语法信息词典，现代汉语语义 词典，中文概念词典，现代汉语词义标注语料库，综合型语言知识库 1 引言 自第一届中文词汇语义学研讨会于2000 年举办以来，中文词汇语义学研究 的发展确实令人鼓舞。6 年的历程证实了郑锦全院士的高瞻远瞩。信息技术，特 别是 Internet 上搜索引擎技术的需求为中文词汇语义学的研究拓展了广阔的空 间。这也是本系列研讨会得以不间断召开并且成果逐年彰显的原动力所在。 本文概述作者对面向语言信息处理的词汇语义学的基本认识，重点介绍北京 大学计算语言学研究所（Institute of Computational Linguistics, Peking University ， 简称 ICL/PKU ）在词汇知识库建设方面所做的工作以及所积累的一些经验。本 文最后介绍将几个独立存在的词汇知识库集成为综合型语言知识库的构想、技术 方案和已经取得的阶段性进展。 2 词汇语义学研究与自然语言处理 在面向人的语言学本体研究与语言教学研究领域，词汇语义研究的历史源远 流长。训诂学的研究重点就是对古书的字句（包括现代意义的“词”）的含义进 行解释，《说文解字》、《广雅》、《尔雅》等经典著作就包含了丰富的词汇语义研 究成果。现代汉语词汇语义学研究在中国大陆也有诸多论著问世[1-4]。语言学家 的成果为面向信息处理的词汇语义研究，提供了理论基础。 在面向语言信息自动处理的计算语言学领域，词汇语义研究也是最早发展的 ______________________________________________________________________________ *本文相关研究得到中国国家 973 项目（2004CB318102 ）和国家自然科学基金项目）的支持。 分支之一。无论早期的机器翻译采用“词对词”的直接模式，还是后来一度盛行 的转换模式，乃至当今大行其道的统计方法，词义消歧（Word Sense Disambiguation ）总是这个实用领域的首当其冲的基础研究课题。在Internet 迅速 扩张的今天，词义消歧也是提高信息检索效率的最重要的技术手段。词汇语义学 是词义消歧的理论基础，而词义消歧正是词汇语义学研究成果的用武之地。 本文只聚焦于面向自然语言处理的词汇语义研究。开始这项研究时以及在这 项研究的过程中，都要清醒地认识和妥善处理以下一些基本问题。 自然语言处理需要的词汇语义知识有什么样的特点？这些知识的源头在哪 里？如何把计算机需要的词汇语义知识组织、表示为计算机程序可以运用的形 式？ 计算语言学研究者都了解语言知识库是自然语言处理系统不可或缺的组成 部分，语言知识库的规模和质量在很大程度上决定了自然语言处理系统的成败。 把处理程序和语言规则分开是机器翻译技术进步中的一个里程碑。不过，在早期 采用这种技术的系统中，语言知识库基本上就是语言规则库。语言规则主要是以 基于上下文无关语法（Context Fre