基于逆概念频率的词语相似度计算.pdfVIP

第 54卷 第 2期 厦 门大学学报(自然科学版) Vo1．54 NO．2 2015年 3月 JournalofXiamenUniversity(NaturalScience) M ar．2O15 基于逆概念频率的词语相似度计算 孙 晶，张东站 (1／1门大学信息科学与技术学院，福建 厦门 361005) 捅要 ：词语相似性度量在服务选择 、自然语言处理 、文献检索等领域具有重要的作用 ，目前通用 的词语相似度计算方法 是利用 《知网》对词 的概念解释得 出词语之间相似度 ．对 《知 网》结构进行分析 ，认为利用 《知网》计算词 的相似度 的方法 中概念的4项基本结构的权重应该动态产生 ，并提 出区分度作为衡量 4项基本结构的动态权重．在分析现有研究基础 上 ，借鉴逆文档频率(IDF)权重计算思想，认为义原的区分度与义原在所有概念的相应位置中出现次数成反比，提出了 一 种基于义原出现频次的义原权重计算方法 ：逆概念频率 (inverseconceptfrequency，ICF)．通过分析概念 的组织结构 ， 计算第一基本义原结构、其他基本义原结构、关系义原结构、关系符号结构中各义原的ICF权重，将 4个基本结构中的最 大义原 ICF权重作为基本结构的ICF权重．利用动态 ICF值逼近基本结构的区分度 ，进而计算词语相似度．通过对真实 数据的实验对 比可以看出ICF算法能有效提高计算词语相似度的准确率．相 比较传统算法平均前 160个词准确率从 3O．74 提高到 72．28 ，平均召回率从 15．87 提高到 49．64 ． 关键词：知网；词语相似度；逆概念频率；义原权重 中图分类号：TP391．1 文献标志码 ：A 文章编号 ：0438—0479(2015)02—0257—06 现阶段 以互联网带动的信息技术的不断发展和 基于统计 的计算方法 ：基于这样一个假设 ，语义 普及 ，如何从海量的信息资源中挖掘 出有价值的信息 相近的词 ，其上下文也应该相似．从大规模语料库 中 成为信息用户的关注点．信息资源形态迥异 ，使得采 统计 出被 比较词汇的相关上下文词汇，组成集合、向 用传统的以字符串匹配为基础 的信息检索系统逐渐 量化并计算 向量夹角余弦值 ，同时使用词的上下文信 被淘汰 ，取而代之的是 以计算词语之间的语义相似度 息的概率分布作为参考值 ，进而计算词语 的语义相 为核心的概念模型匹配的信息检索 ，因此提高词语相 似度． 似度的计算精度显得尤为重要． 在中文方面，文献 [1]利用词相关性知识计算词 词语是文章最基本 的组成单位，词语之间的关系 语相似度 ． 也因为人们 的思考逻辑而变得复杂．词语相似度计算 基于本体的计算方法 ：基于这样一个假设 ，两个 研究的是计算两个词语相似度的方法 ，是研究句子相 词语具有一定 的语义相似性 ，当且仅 当其在概念结构 似度的基础．词语相似性度量在服务选择、自然语言 层次网络 图中存在一条通路．本体能够准确描述概念 理解 、文献检索等领域具有重要 的作用．可见词语相 含义和概念之间的内在关联[2]，并根据语义距离来计 似度研究有广阔的应用前景和重大研究价值． 算词语相似度，已经成为词语相似度研究的基础 ，当 现今对词语相似度计算主要分为两类 ，一种是基 前基于本体 的语义相似度计算方法 已经取得 了丰硕 于本体的计算方法 ，根据概念层次结构组织形式及概 的成果 ，本文研究的也是基于本体的计算方法．在英 念之间的上下位与同位关系来计算词语 的相似度．另 文研究中文献[3—4]对基于本体 的多种计算方法进行 外一种是基于统计 的方法 ，利用大规模语