基于adaboost.mh算法的汉语多义词消歧-计算机软件与理论专业论文.docxVIP

人连理工大学硕+学位论文摘 人连理工大学硕+学位论文 摘 要 词义排歧在机器翻译、信息检索、句子分析和语音识别等许多领域有重要的作用。 因此词义排歧方法的研究具有重要的理论和实践意义。本文主要研究在标注语料库支持 下的基于有指导学习算法的词义排歧方法。 在词义排歧模型中引入有指导的AdaBoost．MH算法。首先通过简单决策树算法对 多义词上下文中的知识源进行学习，产生准确率较低的弱规则；之后，通过AdaBoost．MH 算法对这些弱规则进行加强：经过若干次迭代后，最终得到一个准确度更高的规则，即 为最终的排歧模型。同时，针对系统的学习效率和实用性给出了一种简单终止算法迭代 的方法。 为评测AdaBoost．MH算法排歧效果，本文在SENSEVAL3中文语料上进行了 AdaBoost．MH算法和贝叶斯算法的词义排歧对比实验，结果表明AdaBoost．MH算法比 贝叶斯算法具有更强的学习能力，前者的开放测试正确率比后者的开放测试正确率高出 近8个百分点。 此外，为获取多义词上下文中的知识源，本文在使用传统的词性标注和局部搭配序 歹4知识源的基础上，引入了一种新的知识源，即语义范畴。实验结果表明语义范畴的引 入有助于提高算法的学习效率和词义排歧的正确率。 在对6个典型汉语多义词和SENSEVAL3中文语料中20个汉语多义词的词义消歧 实验中，AdaBoost．MH算法获得了较高的开放测试正确率，前者的平均开放测试正确率 达到85．75％，后者的平均开放测试正确率达到75．84％。 人工建立有指导学习算法所需的大规模标注语料是相当困难的，为解决此问题，本 文给出了一种利用WWW资源自动构建适合汉语多义词排歧的标注语料库的方法。并 通过实验验证了这种语料库的可用性。 关键词：自然语言处理；词义捧歧：AdaBoost．刖算法；知识源 人连理I：大学硕士学位论文Chinese 人连理I：大学硕士学位论文 Chinese Word Sense Disambiguation with AdaBoost．MH Algorithm Abstract Word sense disambiguation OVSD)plays all important role in many areas of natural language processing such as machine translation，information retrieval，sentence analysis， speech recognition．The research on WSD has great theoretical and practical significance．The main work in the dissertation is to study the supervised learning algorithm learning WSD knowledge from many kinds of resources based on large sense—tagged Chinese corpus． An approach based on supervised AdaBoost．MH learning algorithm for Chinese word sense disambiguation is presented．AdaBoost．MH algorithm is employed to leam WSD knowledge from many kinds of resources and to boost the accuracy of the weak stumps rules for decision trees and repeatedly calls a learner to finally produce a more accurate mle．A simple stopping criterion is also presented in view of the efficiency of learning and the utility of system． In contrast experiment between AdaBoost．MH algorithm and Naive Bayes algorithm，the former has a higher learning capability．For the open tests’accuracy rates in SENSEVAL3 Chinese corpus，the former outdoes 8 percentage points compared to