面向微博文本的命名实体识别-计算机科学与技术专业毕业论文.docxVIP

万方数据 万方数据 国防科 国防科学技术大学研究生院硕士学位论文 目 录 摘 要 v ABSTRACT vi 第一章 绪论 1 1.1 研究背景及意义 1 1.2 命名实体研究现状 3 1.3 微博文本的特点及命名实体识别的难点 5 1.4 本文内容 7 1.5 本文结构安排 8 第二章 命名实体识别研究方法 11 2.1 基于规则的方法 11 2.2 基于统计的方法 12 2.3 规则与统计混合的方法 16 2.4 本章小结 16 第三章 微博文本的命名实体识别 19 3.1 微博文本的特点分析 19 3.1.1 微博文本的特点 20 3.1.2 微博文本与传统文本的比较 21 3.2 面向微博文本的命名实体识别方法 21 3.2.1 命名实体识别过程 21 3.2.2 微博文本的预处理 23 3.2.3 垃圾串处理 24 3.2.4 候选实体抽取 24 3.2.5 规则抽取实体 25 3.2.6 话题标签影响 25 3.3 本章小结 26 第四章 微博中命名实体的分类 27 4.1 微博规则知识建立 27 4.1.1 人名知识 27 4.1.2 地名知识 29 4.1.3 机构名知识 30 第 i 页 4.2 微博实体的分类过程 30 4.2.1 人名识别过程 31 4.2.2 人名识别特性 32 4.2.3 地名识别过程 32 4.2.4 地名识别特性 33 4.2.4 机构名识别过程 33 4.3 本章小结 33 第五章 实验 35 5.1 实验准备 35 5.1.1 实验数据 35 5.2 ICTCLAS2013 35 5.2.1 ICTCLAS2013 微博分词功能 36 5.2.1 ICTCLAS2013 新词发现与自适应分词 36 5.3.1 ICTCLAS2013 关键词识别 37 5.3.1 ICTCLAS2013 命名实体识别 38 5.3 微博实体抽取实验结果 39 5.3.1 与 ICTCLAS 分词系统比较命名实体识别效果 39 5.3.2 微博的评论转发行为对命名实体识别效果的影响 40 5.4 微博实体的分类结果 40 5.5 本章小结 41 第六章 总结与展望 43 6.1 总结 43 6.2 展望 43 致 谢 45 作者在学期间取得的学术成果 47 参考文献 48 第 ii 页 第 PAGE 第 PAGE vii 页 万方数据 表 目 录 表 3.1 微博文本语料与人民日报语料的高频字对比 21 表 3.2 算法的一个例子 22 表 3.3 常用字词表 24 表 3.4 抽取实体的规则 25 表 5.1 微博文本语料成分 35 表 5.2 与 ICTCLAS 系统进行命名实体识别比较 40 表 5.3 增加特征项后效果对比 40 表 5.4 分类结果分析 41 图 目 录 图 1.1 用户注册微博原因 6 图 2.1 隐马尔科夫模型中，输出只和状态有关 14 图 2.2 普遍意义的条件随机场 14 图 3.1 算法流程图 23 图 4.1 大陆 20 大姓名单 28 图 4.2 维基湖南地名 29 图 4.3 微博命名实体识别流程图 31 图 4.4 人名识别过程 32 图 4.5 地名识别过程 33 图 5.1 微博分词介绍 36 图 5.2 新词发现与自适应分词 37 图 5.3 关键字识别功能 38 图 5.4 命名实体识别 39 摘 要 命名实体识别是自然语言处理领域的重点研究方向之一，是信息抽取、信息 检索、信息过滤、问答系统、机器翻译等多种自然语言处理技术必不可少的组成 部分。近几年，随着微博的兴起与发展，微博文本作为命名实体识别新的载体， 逐渐得到越来越多相关研究人员的重视。由于微博文本与传统文本在表达形式上 具有很大差别，使得传统的命名实体识别方法在微博文本上面临新的挑战。因此 研究面向微博文本的命名实体识别能促进自然语言处理技术在微博等新媒体上的 发展，具有重要的理论意义和应用价值。 本文主要研究面向微博文本的以人名、地名、机构名为核心的中文命名实体 识别相关技术。微博文本由于自身的特点，其内部隐藏着大量可供命名实体识别 使用的重要信息。本文首先通过比较微博文本与传统文本的区别，挖掘出微博文 本自身的结构与内容上的特点；对有利于命名实体识别的标签、评论转发等特点 加以利用，对不利于命名实体识别的语言不规