基于向量空间模型结合语义文本相似度算法.docVIP

基于向量空间模型结合语义文本相似度算法 　　摘 要： 针对向量空间模型方法忽略词语语义以及词语相互间结构关系，没有考虑词语表达的实际意义的缺点，提出一种新的文本相似度计算方法，该方法把语义相似度的计算融入到基于向量空间模型的文本相似度算法中，最终通过语义相似度和向量空间模型相似度加权得到文本相似度的结果。实验结果证明，所提出的相似度算法得到的召回率相比于向量空间模型方法以及现有的语义相似度算法都有不同程度的提高，从而证明了该算法的有效性。 　　关键词： 文本相似度； 向量空间模型； 语义； 词频； 召回率； 特征项 　　中图分类号： TN911.1?34； TP391.1 文献标识码： A 文章编号： 1004?373X（2018）11?0157?05 　　Text similarity algorithm combining semantics based on vector space model 　　FENG Gaolei， GAO Songfeng 　　（School of Mechanical?Electronic and Vehicular Engineering， Beijing University of Civil Engineering and Architecture， Beijing 100044， China） 　　Abstract： The semantics and structural relation of words are ignored in the vector space model method， and the practical meaning of word expression isn′t considered. Therefore， a new test similarity calculation method is proposed， which can integrate the calculation of semantic similarity into the text similarity algorithm based on vector space model. The similarity of semantics and vector space model is weighted to obtain the result of text similarity. The experimental results show that， in comparison with the vector space model method and available semantic similarity algorithm， the recall rate obtained by the proposed similarity algorithm is improved to different extents， which can prove the effectiveness of the algorithm. 　　Keywords： text similarity； vector space model； semantics； word frequency； recall rate； characteristic item 0 引 言 　　文本相似度的?算在很多信息处理的具体应用中起着重要的作用。在文本过滤、知识挖掘以及网页去重等领域中进行信息处理的关键是准确计算出文本的相似度[1]；在信息检索中，为了提高文档检索的召回率和查准率，也需要对储存信息的文档进行有效的相似度计算[2?3]；在文本聚类、机器翻译等领域，文本相似度同样有着非常重要的应用[4]。 　　目前文本相似度计算方法主要有如下两类： 　　1） 基于统计的方法。通过统计词语在文中出现的次数，以词频信息为基础进行文本相似度的计算。该方法大多基于向量空间模型，将文本建模作为空间向量并利用向量间的关系计算文本间的相似度。文献[5]通过向量空间模型的方法构建文本的特征向量，并使用向量间夹角余弦值计算文本间的相似度；文献[6]通过计算两文本特征向量之间最长公共子序列的方式反映文本的相似度。基于向量空间模型的方法忽略了词语在文本中的组织结构和出现的顺序以及词语的关系，没有考虑词语表达的实际意义。 　　2） 基于语义的方法。利用WordNet，HowNet等知识完备的语义词典中对词语及其层次结构关系的解释进行文本间相似度的计算[7?8]。文献[9]通过《知网》的义原层次体系计算词语间的相似度，提出一种基于语义的文本相似度算法；文献[10]通过将不同类型义原个数所占比例作为权重代入