基于半监督隐马尔科夫的汉语词性标注研究-计算机应用技术专业论文.docxVIP

硕士学位论文基于半监督隐马尔科夫的汉语词性标注研究 硕士学位论文 基于半监督隐马尔科夫的汉语词性标注研究 Research on Chinese Part·-of-speech Tagging Based on Semi Hidden Markov Model 学 号：完成日期： 2015．5．30 大连理工大学 Dalian University of Technology 万方数据 大连理工大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：基主生垒窒超墨圣雅坠呈圣遮囱!l篁扭三量垄至纽 作者签名 ： 璇 日期：—巫年—I L月—1日 万方数据 大连理工大学硕士学位论文摘 大连理工大学硕士学位论文 摘 要 随着信息技术和网络技术的不断进步与发展，计算机成为了人类生活必不可少的一 种工具。由计算机智能地处理人类语言的技术，即自然语言处理(Natural Language Processing，NLP)技术便应运而生。词性标注(Part-Of-Speech Tagging)作为其中较为 基础的一种预处理程序，对后续的工作和课题研究都起着至关重要的作用。 本文使用基于隐马尔科夫模型(Hidden Markov Model)的词性标注方法，从如下几 个方面进行了改进，以提高标注的准确率。首先，利用小规模训练语料进行半监督学习， 通过反复迭代不断扩充语料，增强马尔科夫标注效果，尤其对于不同领域的语料，这种 迁移学习也能提高标注准确率；其次，通过词语相似度的方法，给每个高频的未登录词 都标上候选词性，对于频率低于10的低频未登录词，则采用相似字符串查找的方式找 到相似上下文，用于标记词性；最后，在隐马尔科夫标注时，不仅选取一条路径，而是 选两条最佳路径，并通过二次选择，得到最后标注结果。实验证明，该方法与传统隐马 尔科夫标注方法相比提高了2．6％，汉语词性标注准确率达到了95．65％。 关键词：词向量；词语相似度：迭代训练；迁移学习 万方数据 基于半监督隐马尔科夫的汉语词性标注研究Research 基于半监督隐马尔科夫的汉语词性标注研究 Research on Chinese Part—of-speech Tagging Based on Semi Hidden Markov Model Abstract Wim the development of computer science and web technology．computers become an indispensable tool for human lire．How to communicate with the computers effectively gets more attention and thus eme唱es NLP，natural language processing，technology to process natural language with computers．POS tagging，as a much more basic issue，is a preprocessing task that plays vital role in the follow-up research of all these NLP tasks．Thus，research on POS tagging is of great significance． This paper proposes to improve the tagging precision rate of HMM based POS tagging from the following aspects：First，semi supervised learning on a small scale corpus is used to enlarge the corpus by iteration．This can improve the HMM tagging especially improve the tagging precision rate on corpus of different field．Secondly，word similar