基于AdaBoost.MH算法的汉语多义词消歧.pdfVIP

维普资讯 中 文 信 息 学 报 第2O卷 第3期 JOURNALOFCHINESEINFORMATIONPROCESSING Vo1．20No．3 文章编号：1003—0077(2006)03—0O06—08 基于AdaBoost．MH算法的汉语多义词消歧 刘风成，黄德根，姜 鹏 (大连理工大学 计算机科学与技术系，大连 l16024) 摘要：本文提出一种基于AdaBoost．MH算法的有指导的汉语多义词消歧方法，该方法利用AdaBoost．MH 算法对决策树产生的弱规则进行加强，经过若干次迭代后，最终得到一个准确度更高的分类规则；并给出了一 种简单的终止算法中迭代的方法；为获取多义词上下文中的知识源，在采用传统的词性标注和局部搭配序列 等知识源的基础上，引入了一种新的知识源，即语义范畴，提高了算法的学习效率和排歧的正确率。通过时6 个典型多义词和SENSEVAL3中文语料中20个多义词的词义消歧实验 ，AdaBoost．MH算法获得了较高的开放 测试正确率(85．75％)。 关键词 ：人工智能；自然语言处理；词义消歧；AdaBoost．MH算法；多知识源 中图分类号：TI~91 文献标识码：A ChineseW ordSenseDisambiguation、thAdaBoost．MH Algorithm LIU Feng-cheng，HUANGDe-gen．JIANGPeng (Depa-~nentofComputerScien~，DalianUmve~yofTechnology，Dalianl16024，China) Abstra~：AnapproachbasedonsupervisedAdaBoost．MH learningalgorithm forChinesewordsensedisambiguation i日presented．AdaBoost．MHalgorithm isemployedtoboosttheaccuracyofhteweakdccisionstumpsrulesfortrees andrepeatedlycallsalearnertofinallyproduceamoreaccuraterule．A simplestoppingcriterionisalsopresented． Inordertoextractmorecontextualinformation，weintroduceanew semanticcategorizationknowledgewhichisuseful forimprovingthelearningefficiencyofthealgorithm nadaccuracyofdisambiguation，inadditiontousingtwoclassical knowledgesources，part—of—speechofneighboringwordsnadlocal collocations．AdaBoost．MH algorithm mkaing useofhteseknowledgesourcesachieves85．75％ disambiguationaccuracyinopentestfor6typicalpolysemouswords na d20polysemouswordsofSENSEVAL3Chinesecorpus． Keywords：artificial intelligence；natural lnaguageprocessing；wordsensedisambiguation；AdaBoost．MH alogrihtm； multipleknowledgesource8 1 引言 词义消歧(WordSenseDisambiguation，简称WSD)一直是自然语言处理研究领域十分重要 的问题和研究热点之一 ，在机器翻译、信息检索、自动文摘、知识挖掘等 自然语言处理领域 均具有重要的应用价值。 近几年，国内外研究人员将统计学和机器学习引入到词义消歧的处理中，提出基于语料库