基于语义理解的文本相似度算法.pdfVIP

第45卷第2期 大 连 理 _T-大 学 学 报 Va1．45．No．2 2005年 3月 JournalofDalianUniversityofTechnology M al．200 5 文章编号：1000-8608(2005)02—0291—07 基于语义理解的文本相似度算法 金 博 一， 史 彦 军 ， 滕 弘 飞 (1．大连理工大学 机械工程学院，辽宁 大连 l16024； 2．大连理工大学 计算机科学与工程系，辽宁 大连 116024) 摘要 ：相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景．研究了文本 相似度的计算方法，在知网语义相似度 的基础上，将基于语义理解的文本相似度计算推广到 段落范围，进而可 以将这种段落相似度推广到篇章相似度计算．给 出了文本(包括词语、句 子、段落)相似度 的计算公式及算法．用于计算两文本之间的相似度．实例验证表 明，该算法 与现有典型的相似度计算方法相比，计算准确性得到提高． 关键词 ：知网；语义；文本相似度；复制检测；信息检索 中图分类号：TP391．1 文献标识码：A O 引 言 似度及句子相似度的研究 、．目前，基于语义理 解的相似度计算大多限于词语或句子范围．本文 文本相似度计算在信息检索、数据挖掘、机器 以知网词语相似度计算为基础，将其应用范围扩 翻译、文档复制检测等领域有着广泛的应用．目 大到段落，以用于抄袭识别或信息检索领域． 前，关于文本相似度的研究主要有篇章与篇章之 间的相似度，如 Willett研究的文档分类算法[1； 1 文本相似度 的 3个层 次 短语与篇章之间的相似度，如 Sahon等研究的信 本文所研究的文本包括词语、句子和段落等， 息索引方法 ；短语与篇章 中某一部分 (如段落) 关于篇章的相似度将另文讨论．本文的文本相似 的相似度 ，如 Callan研究的文章段落检索等[3]． 度计算将包括以下几种关系：词语与词语 、词语与 所用到的文本相似度计算方法主要有以下几种： 句子、词语与段落、句子与句子、句子与段落和段 向量空间模型、广义向量空间模型、隐性语义索引 落与段落等．上述的各种相似度关系可分别用于 模型、基于属性论的方法、基于海明距离的计算方 不同的研究领域，如词语与词语之间的相似度计 法、基于数字正文的重构方法等，均是基于统计学 算可用于机器翻译领域；词语与句子、词语与段 的计算方法，需要大规模语料库的支持和长时间 落、句子与段落之间的相似度计算可以用于信息 的训练过程 ，具有一定的局限性． 检索领域 ；句子与句子之间的相似度计算可以用 与基于统计学的相似度计算方法相 比，基于 于 自动问答领域；段落与段落之间的相似度计算 语义理解的相似度计算方法不需要大规模语料库 可以用于复制检测或剽窃检测领域等．所以文本 的支持，也不需要长时间的训练 ，具有准确率高的