基于语义和TF―IDF的项目相似度计算方法.docVIP

基于语义和TF―IDF的项目相似度计算方法 　　摘 要： 基于统计的TF-IDF相似度计算方法由于不考虑词语的语义信息，不能准确地反映文本间的相似性。针对该问题，提出一种结合语义理解和TF-IDF的科技项目相似度计算方法。在项目分词的基础上，利用《知网》计算两个项目间的特征项语义相似度，基于TF-IDF计算每个特征项的权重，然后针对权重大于给定阈值的特征项进行加权进而计算得到项目相似度值。实验结果表明，该方法效果优于单纯的TF-IDF和语义理解的方法。 　　关键词： TF-IDF； 语义理解； 《知网》； 特征项权重； 相似度计算 　　中图分类号：TP391.1 文献标志码：A 文章编号：1006-8228（2015）05-01-03 　　Abstract： TF-IDF（term frequency - inverse document frequency）is one of the traditional text similarity calculation method based on statistics. Because TF-IDF does not consider the semantic information of words， it can not accurately reflect the similarity between texts. Aiming at this problem， this paper advances a method combined with the semantic understanding and TF-IDF to calculate the similarity of technology project. Based on the word segmentation of the technology project and the information from the HowNet， calculates the feature semantic similarity of the two between， then calculates weight of each feature by using TF-IDF， and finally calculates the similarity value of the technology project according to the weight of the features that their weight is greater than the given threshold. The experimental results show that the method is better than the pure TF-IDF and the method of semantic understanding. 　　Key words： TF-IDF； semantic understanding； HowNet； weight of feature； similarity calculation 　　0 引言 　　我国每年都有大量的科技项目申报，迫切需要一种智能的项目分析和“查重”的工具防止项目重复申报的问题。因此，对项目“查重”系统中的关键技术――文本相似度计算的研究非常有必要。 　　目前常见的文本相似度计算方法主要有基于概率统计的和根据某种世界知识体系进行语义理解的。基于统计的方法中一般采用基于向量空间模型的TF-IDF方法。该方法充分考虑了每个词项的统计信息但是缺乏对词项的语义的理解，因此无法准确的衡量文本之间的相似度。基于语义理解的一般是先利用某种知识库来计算词项之间的语义相似度[1]从而计算文本之间的相似度。Wang[2]和金博[4]等人分别基于WordNet和《知网》来计算文本的相似度。肖志军等人提出利用《知网》的义原空间来计算文本相似度[5]。廖开际等人提出通过加权语义网来计算文本的相似度[6]。这些方法考虑了词项的语义信息，但忽略了不同特征项对文本的重要程度是不同的。通过对上述文本相似度方法进行分析，本文提出一种结合TF-IDF和语义理解的相似度计算方法，并用于科技项目的相似度计算中。 　　1 相关工作 　　1.1 向量空间模型和TF-IDF 　　向量空间模型（Vector Space Model）由Gerard Salton等人于1975提出。向量空间模型中文本被以形式化的向量的形式给出，然后通过对向量的处理来表示对文本的处理。向量空间模型最常用也比较有效的是TF-IDF，也就是词频-反向文档频率方法。 　　TF-IDF被定义为：TFI