词语相似度计算研究.pdfVIP

ITA 信息系统 ( ) ●秦春秀 , 赵捧未 , 刘怀亮 西安电子科技大学 　经济管理学院 , 陕西 　西安 　7 1007 1 词语相似度计算研究 　　摘 　要 : 词语相似度计算是自然语言处理 、智能检索 、文档聚类 、文档分类 、自动应答 、词义排歧和 机器翻译等很多领域的基础研究课题 。本文首先讨论了词语相似度计算的应用背景 , 然后总结了词语相似 度计算的两类策略 , 包括每类策略的思想 、依赖的工具和主要的方法 , 并对这两类策略进行了简单的 比较 。 关键词 : 词语相似度 ; 语义词典 ; 语料库 A b stract: W ord sim ilarity m ea su rem ent is a ba sic re search top ic in the field s of nature language p roce ssing, in telligen t retrieval, docum ent clu stering, docum en t cla ssification, au tom atic question an swer, word sen se disam b iguation, m ach ine tran slation, etc. Th is p ap er firstly discu sses the background of the app lication of word sim ilari ty m ea surem en t, then two strategies of word sim ilarity m easu rem ent are summ arized, including their idea s, too ls and m ain m ethod s. F inally, the two strategies are comp ared. Keyword s: word sim ilarity; sem an tic lexicon; corp u s 　　词语相似度计算研究的是用什么样的方法来计算或比 2　词语相似度计算方法 较两个词语的相似性 。词语相似度计算在 自然语言处理 、 智能检索 、文本聚类 、文本分类 、自动应答 、词义排歧和 国内外对词语相似度计算 的研究策略大体可分为 机器翻译等领域都有广泛的应用 , 它是一个基础研究课 两类 : 题 , 正在为越来越多的研究人员所关注 [ 14 ] 。笔者对词语 1) 根据某种世界知识 (如 Ontology) 来计算 [ 56 ] , 主 相似度计算的应用背景 、研究成果进行了归纳和总结 , 包 要是基于按照概念间结构层次关系组织的语义词典的方 括每种策略的基本思想 、依赖的工具和主要的方法等 , 以 法 , 根据在这类语言学资源中概念之间的上下位关系和同 供自然语言处理 、智能检索 、文本聚类 、文本分类 、数据 位关系来计算词语的相似度 。 挖掘 、信息提取 、自动应答 、词义排歧和机器翻译等领域 2) 利用大规模的语料库进行统计 , 这种基于统计的 的研究人员参考和应用 。 方法主要将上下文信息的概率分布作为词汇语义相似度的 参照依据 [ 78 ] 。 1　词语相似度计算的应用背景