基于概念向量的文本语义相似度方法探索.pdfVIP

技术与应用 基于概念向量的文本语义相似度方法探索* 1 1 2 郭红梅 ，袁国华，胡正银 （1. 中国科学院文献情报中心，北京 100190 ；2. 中国科学院成都文献情报中心，成都610041） 摘要：在对概念语义相似度方法调研的基础上，本文提出基于概念向量的文本语义相似度测度方法，借 助MetaMap工具抽取文本中的概念术语，将概念术语通过词表层级结构转化为概念向量，通过计算两文本中 概念向量的语义相似度来测度两文本的语义相似度。为验证基于概念向量文本语义相似度方法的准确性，选 取TREC-05 genomics track数据进行实验，实验结果表明，本文提出的方法较常用的余弦方法更优，与专家评 估方法更接近，在测度文本语义相似度上具有一定的可行性和有效性。 关键词：概念向量；语义相似度；文本相似度 中图分类号：G254 DOI ：10.3772/j .issn .1673-2286.2017.06.006 1 引言 用词片段中2 000个句法模式频次形成的，并考虑到4 个指标（dice相关系数、重叠相关系数、j a c c ar d 系数 [8] 随着网络技术的发展，出版商将科技文献加工成 和逐点相互信息） ；Bollegala等通过网页中两个概念 [9-10] 可供用户查阅的PDF或HTML格式，并发布在Web上， 的关联页面数，测度两个概念或实体的语义相似度 ； [1] 这种电子化形式极大地提高了文本时效性 ，但同时增 Pilehvar 等将文本表示为图结构，从文献、词、段落三 [11] 加了用户从海量资源中快速准确查找所需知识内容的 个层级分析文本间语义相似度 。但这些方法仅是基 难度。科技文献间除书目信息的关联外，还存在丰富的 于定量指标来测度概念的距离相似度，并未考虑概念 [2] 语义知识关联 ，但目前由于缺乏对科技文献完整的语 在词表中的语义相关性及领域信息。也有学者提出依照 义标注及文本内容相似度的准确测度，读者很难在短 词表中概念层级结构测度概念间的语义相似度，Zhou [3] 时间内把握科技文献发展脉络及知识内容关联 。如何 等开发Me SH Sim R语言包，具体包括5种基于路径的 [12] 测度文本间语义相似度，辅助用户对科技文献间内容 测度方法和5种基于信息内容的测度方法 ；Yang等基 关联的挖掘，同时提高检索系统效率，一直是文本挖掘 于WordNet 中概念的层级位置来测度概念间语义相似