基于隐马尔可夫模型的中文词义消歧方法研究-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Classified Index：TP391.2 Dissertation for the Master Degree in Engineering Chinese Word Sense Disambiguation Based on Hidden Markov Model Candidate： Sun Yanchen Supervisor： Zhang Chunxiang Academic Degree Applied for： Master of Engineering Specialty： Computer Science and Technology Date of Oral Examination： March, 2016 University： Harbin University of Science and Technology 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文《基于隐马尔可夫模型的中文 词义消歧技术研究》，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期 间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包 含他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体， 均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名：孙彦晨 日期： 2016 年 03 月 30 日 哈尔滨理工大学硕士学位论文使用授权书 《基于隐马尔可夫模型的中文词义消歧技术研究》系本人在哈尔滨理工大学 攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈 尔滨理工大学所有，本论文的研究内容不得以其他单位的名义发表。本人完全 了解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关 部门提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学 可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内 容。 本学位论文属于 保密 ，在 年解密后适用授权书。 不保密 √ 。 (请在以上相应方框内打√) 作者签名：孙彦晨 日期： 2016 年 03 月 30 日 导师签名：张春祥 日期： 2016 年 03 月 30 日 哈尔滨理工大学工学硕士学位论文 哈尔滨理工大学工学硕士学位论文 基于隐马尔可夫模型的中文词义消歧技术研究 摘 要 在自然语言中，一词多义的现象普遍存在，这使得机器对自然语言的处 理变得十分困难，词义消歧是自然语言处理领域的一个关键问题。词义消歧 的目标就是让机器能够在特定的上下文中自动判断歧义词的准确含义。在信 息检索、主题跟踪、文本分类和机器翻译等方面，都有着十分重要的作用。 到目前为止，词义消歧一直是困扰计算语言研究者的复杂问题。 本文的主要研究内容是基于机器学习理论的有监督词义消歧方法，这种 方法是目前词义消歧领域中的主流研究方法。该方法有着很强的扩展性和灵 活性，能够应对不同语言并适应语言的发展。本文的主要研究内容有以下几 个部分： 首先，对词义消歧领域的发展情况进行了阐述，并列举了有代表性的方 法。对消歧模型的权威评价体系进行了介绍，并阐述了影响词义消歧研究的 仍未解决的问题。 其次，介绍了消歧过程中所用到的语料及词典，对语料的解析过程、语 料的性能、消歧特征的提取和选择进行了研究。为了判定分类器结果的正确 性，研究了两种映射方法。在分析了同义词词林中对语义分类方式后，选择 两层语义代码作为消歧特征，以此来优化隐马尔可夫模型，构建了基于隐马 尔可夫模型的消歧分类器。 最后，将词义消歧看作隐马尔可夫模型的解码问题，提出了基于维特比 算法的消歧算法，并详细讲解了算法的计算过程。做了两组实验来评价本文 所提出的方法。 关键词 自然语言处理；词义消歧；特征提取；隐马尔可夫模型 I - Chinese Word Sense Disambiguation Based on Hidden Markov Model Abstract In natural language, the polysemy phenomenon is universal. So it is very difficult for the machine to process natural language. Word sense disambiguation(WSD) is an important problem in natural language processing. The task of word sense disambiguation is to determine the exact meaning of an ambiguous words in a specific co