基于维基百科的汉语词语及短文本相关度计算方法研究-计算机应用技术专业论文.docxVIP

杭州电子科技大学硕士学位论文摘要随着网络信息技术的不断发展，文本作为信息的重要载体也随之大量涌现，因而文 本的自动处理就成为了信息处理的一个重要领域。词语和文本的相关度计算作为文本信 息处理的重要研究方向，越来越多的被国内外研究者所关注，同时它也是信息检索、文 本分类、词义消歧、机器翻译等多种自然语言处理技术的重要基础。为了促进自然语言 处理技术的发展，研究词语和文本相关度计算具有重要的理论意义和现实意义。本文提出了基于中文维基百科分类体系和文档链接的词语相关度计算方法。传统的 大部分汉语词语相关度计算方法是基于知网（HowNet）的。本文将中文维基百科作为 语义资源，利用其分类层次、概念文档之间的链接来计算汉语词语之间的相关度。在借 鉴向量空间模型和谷歌相似度（Google SimilarityDistance）计算方法基础上，通过构建 分类图和相关语义向量来实现汉语词语相关度的计算。词语的语义相关度可以利用到文本之间的相关度计算中，尤其对于短文本，短文本 作为文本的一种，它具有独特的语言特征，单条短文本长度一般都非常短，因此样本特 征非常稀疏，很难准确抽取有效的语言特征，难以充分挖掘与利用特征之间的关联性。 本文综合考虑短文本的结构特点，并且根据词语语义相关度值，提出了最大序列算法和 动态权值算法。本文抽取了中文维基百科的文档链接、分类体系、重定向链接等语义资源，实验测 试分别使用测试集WordSimilarity-353和新闻标题等短文本语料对本文提出的基于中文 维基百科的词语相关度算法和短文本相关度算法进行了实验，并对测试结果进行了分 析。实验结果表明，本文的算法具有一定的可行性和有效性。最后对论文所做的工作进行了总结与评述，并提炼了词语和短文本相关度计算中值 得继续研究的若干问题，为以后的研究指明了方向。关键词：分类图，语义向量，动态权值，维基百科，自然语言处理，相关度IABSTRACTWiththecontinuousdevelopmentofnetworkinformationtechnology,textasanimportant carrierofinformationthenemergeinalargeamount,sotheautomaticprocessingoftextbecomean importantfieldofinformationprocessing.Wordsandtextcorrelationcomputing astextinformation processingoftheimportantbasicresearchsubject,moreandmorebeconcernedbydomesticand foreignresearchers,whichalsoplaysacriticalroleinmanyNaturalLanguageProcessing(NLP) applications,suchasinformationretrieval,textclassification,wordsensedisambiguation,machine translation.Inordertoimprovethe relativeNLPtechnology,theresearchofwordsandtext relatednesscomputingisofgreat worth.Onsemanticrelatednesscomputing,thispaperpresentsthewordsrelatednesscomputingbased onChineseWikipediaclassificationsystemanddocumentlinks.Mostoftraditionalstudies,the mainmethodisbasedontheHowNet.ThispaperuseWikipediaassemanticresources.Fromthe classificationlevel,theexplanationdocumentlinksoftheconceptandthewordrelatednessof comprehensiveanalysis,andcombiningwiththevectorspacemodelandGoogleSimilarityof informationretrievaltechnology,thispaperconstructacorrespondingclassificationgraphand semantic vector of related words to word relatedness computing.Semanticcorr