基于Wikipedia的短文本语义相关度计算方法.pdfVIP

第32卷第1期 计算机应用与软件 Vo1．32 No．1 2015年 1月 ComputerApplicationsandSoftware Jan．2015 基于Wikipedia的短文本语义相关度计算方法 王荣波 谌志群 周建政 李 治 高 飞 (杭州电子科技大学认知与智能计算研究所 浙江 杭州 310018) (天格科技 (杭州)有限公司 浙江 杭州 310005) 摘 要 语义相关度计算是 自然语言处理领域的研究热点。现有的以文本相似度计算代替文本相关度计算的方法存在不足之 处。提 出从语形相似性和组元相关性两个方面来综合度量短文本之间的语义相关性，并提出2个以Wikipedia作为外部知识库的短 文本相关度计算算法：最大词语关联法和动态组块法。在一个网络短文本测试集上对算法进行测评。实验结果表明，该算法与典型 相似度计算算法比较，在正确率方面提高 了20％以上。 关键词 短文本 Wikipedia 相关度计算 自然语言处理 中图分类号 TP391 文献标识码 A DOI：10．3969／j．issn．1000．386x．2015．01．021 SHORT TEXTSSEMANTIC RELEVANCE COMPUTATIoN M ETHOD BASED oN W IKIPEDIA WangRongb0 ChenZhiqun ZhouJianzheng LiZhi GaoFei (InstituteofCognitiveandIntelligentComputing，HangzhouDianziUniversity，Hangzhou310018，Zhejiang，China) 。(~angeTechnology(Hangzhou)LimitedCompany，Hangzhou310005，Zheji ． ang，China) Abstract Semanticrelevancecomputationistheresearchfocusinnaturallanguageprocessingfield．Existingapproachhasthedeficiency， whichrep1acesthetextsrelevancecomputationwithtextssimilaritycomputation．Inthispaper，wepresenttomeasurethesemanticrelevance betweenshorttextscomprehensivelyfrom twoaspectsofmorphologicalsimilarityandgroupelementsrelevance，andpresenttwocomputation algorithmsforshorttextsrelevanceusingWikipediaastheexternalknowledgebase：them~imum wordscorrelation (MWC)algorithm and thedynamicchunking(DC)algorithm．Thealgorithmhasbeentextedandassessedonanetworkshorttextstestset．Experimentalresults show thatcomparedwithtypicalsimilaritycomputationalgorithm，thisalgorithm improvestheaccuracyrateupto20％ andhigher． Keywords Shorttexts Wikipedia Relevancecomputation Naturallanguageprocessing