基于主动学习的中文分词方法研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 中文分词是中文信息处理领域内的一个重要课题，传统的分词方法多基于统计模型，尽 管可以取得不错的效果，但是统计模型依赖大量有标注样本，具有人工标注样本代价高的缺 点。主动学习方法在解决分词问题时会根据处理进程，选择最合适的少量的样本进行人工标 注，从而达到通过使用大量无标注样本来提高分词效果的目的。因此，本文将主要研究基于 主动学习的中文分词方法。 本文首先介绍了中文分词的研究背景、研究意义和常用的分词方法。接下来介绍了条件 随机场模型和主动学习方法，并对如何把条件随机场模型和主动学习方法引入到分词领域中 做了阐述。最后重点介绍了本文提出的三种基于主动学习的中文分词方法: 1. 提出了基于委员会投票的主动学习分词方法。该方法的核心思想是通过集成学习方法 来帮助构建委员会，选择委员会投票分歧度最大的样本作为最有价值的样本进行人工标注。 2. 提出了一种基于分层选择策略的主动学习分词方法。该方法的主要特点是在不确定性 选择方法基础上，把分词过程中的专有字符与其它汉字字符分开分别进行样例选择，另外该 方法还可以通过计算实例间的差异性来解决重复标注问题。 3．提出了一种基于邻域规则的主动学习分词方法。该方法的与众不同之处是利用未标注 样本的邻域集合熵值来进行样例挑选，并且利用计算未标注样本同训练集合的欧氏距离来增 加样本集合的多样性。 关键词:自然语言处理，中文分词，主动学习，选择策略 I Abstract Chinese word segmentation (CWS) is an important task in Chinese language processing. Most of traditional segmentation methods are based on dictionary and statistical model, but they all need a large number of labeled samples. Active learning can use the selection strategy to choose some most valuable samples from abundant unlabeled samples in the training process, and employ these chosen samples to improve the performance of Chinese word segmentation. So active learning is studied and some Chinese word segmentation algorithms are proposed in this dissertation. In this dissertation, firstly, the research background and methods of CWS is introduced. Secondly, some active learning schemes are reviewed and some theoretical research issues and applications at home and abroad are discussed. In the end, our research work in detail is introduced. The main contributions of this dissertation are summarized as follows: An active l