基于《知网》的词汇语义相似度计算1.pdfVIP

基于《知网》的词汇语义相似度计算1 Word Similarity Computing Based on How-net * + 刘群 ﹑李素建 Qun LIU , Sujian LI 摘要 词义相似度计算在很多领域中都有广泛的应用，例如信息检索、信息抽取、文 本分类、词义排歧、基于实例的机器翻译等等。词义相似度计算的两种基本方 法是基于世界知识（Ontology ）或某种分类体系（Taxonomy ）的方法和基于统 计的上下文向量空间模型方法。这两种方法各有优缺点。 《知网》是一部比较详尽的语义知识词典，受到了人们普遍的重视。不过，由 于《知网》中对于一个词的语义采用的是一种多维的知识表示形式，这给词语 相似度的计算带来了麻烦。这一点与 WordNet 和《同义词词林》不同。在 WordNet 和《同义词词林》中，所有同类的语义项（WordNet 的synset 或《同 义词词林》的词群）构成一个树状结构，要计算语义项之间的距离，只要计算 树状结构中相应结点的距离即可。而在《知网》中词汇语义相似度的计算存在 以下问题： 1. 每一个词的语义描述由多个义原组成； 2. 词语的语义描述中各个义原并不是平等的，它们之间有着复杂的关系，通 过一种专门的知识描述语言来表示。 我们的工作主要包括： 1. 研究《知网》中知识描述语言的语法，了解其描述一个词义所用的多个义 原之间的关系，区分其在词语相似度计算中所起的作用；我们采用一种更 1 本项研究受国家重点基础研究计划（973 ）支持，项目编号是G1998030507-4 和G1998030510 。 * 北京大学计算语言学研究所 中国科学院计算技术研究所 E-mail: liuqun@ Institute of Computational Linguistics, Peking University Institute of Computing Technology, Chinese Academy of Science + 中国科学院计算技术研究所 E-mail: lisujian@ Institute of Computing Technology, Chinese Academy of Sciences 2 刘群﹑李素建 为结构化的方式改写了《知网》中词的定义（DEF ），其中采用了“集合” 和“特征结构”这两种抽象数据结构。 2. 研究了义原的相似度计算方法、集合和特征结构的相似度计算方法，并在 此基础上提出了利用《知网》进行词语相似度计算的算法； 3. 通过实验验证该算法的有效性，并与其它算法进行比较。 关键词： 《知网》词汇语义相似度计算 自然语言处理 Abstract Word similarity is broadly used in many applications, such as information retrieval, information extraction, text classification, word sense disambiguation, example-based machine translation, etc. There are two different methods u