基于CRF的中文命名实体识别方法研究.docVIP

图书分类号 UDC注 -1271  TP391.1  密级  非密 硕  士  学  位  论  文 基于 CRF 的中文命名实体识别方法研究 王峰 指导教师（姓名、职称） 申请学位级别 专业名称  王召巴 教授 工学硕士 检测技术与自动化装置 论文提交日期 论文答辩日期 学位授予日期  年 年 年  月 月 月  日 日 日 论文评阅人 答辩委员会主席 注 1：注明《国际十进分类法 UDC》的分类  年  月  日 原 创 性 声 明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：  日期： 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包括： ①学校有权保管、并向有关部门送交学位论文的原件与复印件；②学校可 以采用影印、缩印或其它复制手段复制并保存学位论文；③学校可允许学 位论文被查阅或借阅；④学校可以学术交流为目的，复制赠送和交换学位 论文；⑤学校可以公布学位论文的全部或部分内容（保密学位论文在解密 后遵守此规定）。 签  名：  日期： 导师签名：  日期： 中北大学学位论文 基于 CRF 的中文命名实体识别方法研究 摘  要 作为文本信息中的基本信息元素，命名实体是正确理解文本的基础。命名实体识 别就是将文本信息中规定的实体识别出来，它在自然语言处理中是一项基础性的工作， 在信息抽取，机器翻译，自动问答等领域有着广泛的应用。本文以中科院网络科技监 测平台建设为背景，采用条件随机域模型（CRF），研究中文命名实体的识别方法。 本文通过分析目前命名实体识别的研究现状，详细阐述了近些年来国内外命名实 体识别的评测活动；在分析了马尔克夫模型和最大熵模型的基础上，确立了基于条件 随机场模型的研究方案。 本文在条件随机场的预处理中，以字的方式作为输入标准，从字的角度来切割文 本，以获得更多文本信息的上下文特征；在模型训练中，对不同的模板对文本进行了 识别，得到了一个相对较为优化的训练模板，并在训练语料中加入词性的外部特征， 通过实验表明，该方法可以弥补训练规模的不足，在一定程度上提高了实体的识别效 果。 本文针对中科院网络科技监测平台建设的要求，利用 SIGHAN2006 MSRA 的语料 库，通过对不同模板的测试，采用模式学习方法对不同词的粒度实体进行识别，自动 识别出语料中的命名实体；通过对测试语料的识别，获得实体识别的详细信息，并与 正确的人工标记结果进行比较，结果说明了采用 CRF 进行命名实体识别可以取得了不 错的识别效果。 论文的研究成果为日后实现监测平台准确的进行实体识别打下基础。 关键词：条件随机场 命名实体 特征模板 标注集 中北大学学位论文 Research on Chinese Named Entity Recognition Based on CRF Abstract Named Entity Recognition is to recognize specific entities in text. As the basic information unit of text, Named Entity is essential to the correct understanding of a text. Named Entity Recognition (NER) is a basic task in natural language processing research, which is widely used in machine translation, information extraction, automatic summarization and so on. So how to identify named entity has great theoretical and practical significance. In this paper, firstly, it investigated and summarized the current status of the Name Entity Recognition. And then, it introduced the evaluation strategy for NER, which analyzed the current method of the Name Entity Recognition. De