基于加权语义网的文本相似度计算的研究-情报杂志.PDFVIP

第31卷　 第7期 情　 报　 杂　 志 Vol.31　 No.7 2012年7月 　 　 　 　 　 　 　 　 　 　 　 　 　 JOURNAL OF INTELLIGENCE　 　 　 　 　 　 　 　 　 　 　 　 　 July　 2012 基于加权语义网的文本相似度计算的研究* 廖开际　 杨彬彬 (华南理工大学企业信息化与知识管理研究中心　 广州　 510640) 摘　 要　 基于词频统计思想的传统文本相似度算法,往往只考虑特征项在文本中的权重,而忽视了特征项之间的语 义关系。 综合考虑了特征项在文本中的重要程度以及特征项之间的语义关系,提出构建文本特征项的加权语义网 模型来计算文本之间的相似度,并在模型构建的过程中,对特征项的选取、权值计算做了适当的改进。 最后用实验 验证了基于加权语义网的文本相似度算法相较于传统的算法,相似度计算的精确度有了进一步的提高。 关键词　 加权语义网　 特征项　 文本相似度　 语义关系 中图分类号　 TP391　 　 　 　 　 　 　 文献标识码　 A　 　 　 　 　 　 　 文章编号　 1002-1965(2012)07-0182-05 Similarity Computing of Documents Based on Weighted Semantic Network LIAO Kaiji　 YANG Binbin (Research Centre of Enterprise Informatization and Knowledge Management,South China University of Technology,Guangzhou　 510640) Abstract　 The traditional documents similarity algorithm based on the thought of statistical information of word frequency only considers the weight of feature itemsin a document,thusignoresthe semantic relationsamong feature items. Thispaper considersboth the impor- tance offeatureitemsinadocumentandthesemanticrelationsamongfeatureitems,andproposestoconstructaweightedsemanticnetwork of document featureitemstocalculatethesimilarityofdocuments. Intheprocessofconstructingthemodel,therearesomeappropriateim- provementsin the selection offeatureitemsandthecalculation offeatureitemsweight. With an experiment,it iswell-provedthat,com- pared with the traditionalalgorithm,the suggestedalgorithmbasedonweighted semanticnetworkpromotestheprecision ofthecalculation of documents similarity. Key words　 weighted semantic network　 feature items　 documents similarity　 semantic relation 检索、问答系统、网页去重、文本分类等很多领域,文本 0　 引　 言