自动获取不同义项的相似词算法.pdfVIP

第32卷第3期 计算机应用与软件 Vo1．32 No．3 2015年 3月 ComputerApplicationsandSoftware MaF．2015 自动获取不 同义项的相似词算法 王 永 生 (同济大学出国培训学院 上海 200092) 摘 要 词汇相似度广泛应用于 自然语言处理的多个领域。然而词汇相似度的计算一般都是基于词而不是基于词的义项来进行 的。针对这种情况，提出一种相似词的分类算法。算法首先采用PMI…工具来计算 目标词的相似词，然后以WordNet的义项为参 照，采用一种改进后的Lesk算法 自动将这些相似词按照不同的义项进行分类，每一类相似词只跟对应的义项相似。实验结果表示， 该算法的分类正确率可达到84．27％。 关键词 词汇相似度 点互信息 Lesk算法 WordNet 中图分类号 TP391 文献标识码 A DOI：10．3969／j．issn．1000—386x．2015．03．061 A SIM IIAR W oRDSALGoRITI玎 AUToⅣ TICALLY CLASSⅡⅥ NG DⅡFERENT SENSES W angYongsheng (CollegeofInternationalEducation，Tongfif／几西e ，Shanghai200092，China) Abstract Wordsimilarityiswidelyusedinquiteafew naturallanguageprocessingfields．Howeverusuallythewordsimilaritymeasures arecomputedbasedonwordsratherthanwordsenses．Aimingatthissituation，inthispaperwepresentaclassificationalgorithm forsimilar words．ItfirstusesPMI… tooltocalculatesimilarwordsofthetargetwords，andthentakesthesenseofWordNetasreference，itadoptsan improvedLeskalgorithm toautomaticallyclassifythesesimilarwordsaccordingtodifferentsenses，andthesimilarwordofeachclassonly resemblesthecorrespondingsense．Experimentalresultssuggestthatthisalgorithm achievestheclassificationaccuracyupto84．27％ ． Keywords Wordsimilarity Pointmutualinformation(PMI) Leskalgorithm WordNet 所要解决的问题就是，通过某种计算方法取得词的相似嗣后 ，如 0 引 言 何再次自动将这些相似词按照不同的义项进行分类，每一类相 似词只．跟对应的义项是相似的。 词汇相似度用于度量两个词之间语义上的相似程度。毫无 比如说，经过计算 ，取得名词plant的一些主要相似词： 疑问，一对同义词之间的相似度应该是极高的。词汇相似度广 factory ，facility，performer，mill，works，refinery ，shrub， 泛应用于 自然语言处理的多个领域，如信息检索…、词义消