统计与语义相融合的词语相似度计算.pdfVIP

统计与语义相融合的词语相似度计算 郭丽蔡东风季铎白宇 (沈阳航空工业学院知识工程中心，沈阳。110034) E-mail：?强4179@163．corn 摘要：词语相似度计算是自然语言处理领域的基础和研究难点。本文利用知网的相关概念场，将词语的相关性引 入到基于平均互信息的词语相似度计算中，并提出了统计和语义相结合的词语相似度计算方法，采用了国家公务 员考试“词语替换”题型进行测试，实验结果显示。准确率为O．65． 关键词：词语相似度，知两。统计，语义 Wordi mi I ari CaI I ati onbasedonStati sti cand S ty CU Semanti c GuoLi Cai DuoBaiYu DongfengIi center instituteofAer0舶u廿cal (KnowledgeEngineeringofShenyang E-mail：994179@163．corn is ofthefundamentaIand intheresearchofNatural Abstract：Wordcalculationone Similanty keyproblems fieldin for thewordcorrelationfromrelated Hownet languageprocessing朋ispaperimports concept calculating word whichisbased mutual methodbasedonthemsionofstatisticandsemantic similarity averageinformation,a tests of civilservice is to word fromword national proposedcalculatingsimilarity,besidesreplacementproblems Keywords：wordsimilaritycalculation；Hownet；statistic：semantic l 引言 词语相似度计算是自然语言处理领域研究的基础，在机器翻译、聚类、信息检索等方面有 着重要的应用价值。而在不同的应用中词语相似度都有不同的含义，比如，在基于实例的机器翻 译巾，词语相似度能够体现文本中两个词语的可替换程度，而在信息检索中，词语相似度的计算 能够提高信息检索的准确率和召回率，如问答系统中问句和答案的符合程度可以通过两者含有词 语的词语相似度来衡量。另外，在构造统计语言模型的过程中，由于数据稀疏导致未登录词的统 计信息无法计算，可以通过词语相似度计算对词语进行聚类，以词类作为统计信息，改善统计语 言模型的数据稀疏问题，从而提高模型的表现力。 现有的词语相似度计算方法主要有两种，基于统计的和基于语义知识的词语相似度计算方 法。基于统计的词语相似度计算方法假设，如果两个词语的语义在某种程度上相似，那么它们上 下文的概率分布也相似，因此可以将词语上下文的概率分布作为计算词语语义相似度的依据。如 Brownl31的基于平均互信息的方法计算词语相似度。摹于统计的相似度计算方法能够对词语问的 语义相似度进行有效的度量，但是，计算量大，方法复杂，并且训练采用的语料库的规模和质量 决定了词语相似度计算结果的优劣。