基于语言网络和语义信息的文本相似度计算-中国烟草学报-计算机.PDFVIP

Computer Engineering and Applications 计算机工程与应用 2014 ，50（5 ） 33 基于语言网络和语义信息的文本相似度计算 詹志建，杨小平 ZHAN Zhijian, YANG Xiaoping 中国人民大学 信息学院 计算机系，北京 100872 Department of Computer, School of Information, Renmin University of China, Beijing 100872, China ZHAN Zhijian, YANG Xiaoping. Text similarity calculation based on language network and semantic information. Computer Engineering and Applications, 2014, 50 （5 ）：33-38. Abstract ：Aiming at the shotcoming of traditional text similarity methods with statistical information of word frequency and semantic information of word in text, it proposes a new text similarity calculation based on language network and word semantic information. This new method extracts feature items based on the feature values of the word nodes in a documental language network. It also considers both the importance of feaure items and the semantic relations among fea- ture items, and proposes to construct a semantic network of document feature items to calculate the similarity of docu- ments. Finally it uses several K -means clustering methods for evaluating preformance of the new text document similarity. Experimental results show that the method ’s F -measure is superior to the others ’which proves that the proposed method is effictive. Key words ：language network; text clustering; text similarity; term semantic similarity 摘 要：通过分析已有的基于统计和基于语义分析的文本相似性度量方法的不足，提出了一种新的基于语言网络和 词项语义信息的文本相似度计算方法。对文本建立语言网络，计算网络节点综合特征值，选取TOP 比例特征词表征 文本，有效降低文本表示维度。计算TOP 比例特征词间的相似度，以及这些词的综合特征值所占百分比以计算文本 之间的相似度。利用提出的相似度计算方法在数据集上进行聚类实验，实验结果表明，提出的文本相似度计算方 法，在F -度量值标准上优于传统的TF-IDF 方法以及另一种基于词项语义信息的相似度量方法。 关键词：语言网络；文本聚类；文本相似度；词语相似度 文献标志码：A 中图分类号：TP311 doi ：10.3778/j.issn. 1002-8331.1308-0263 [1] 1 引言