基于主动学习的语料自动标注方法分析-计算机应用技术专业论文.docxVIP

第 第 PAGE IV 页 目 录 第一章 引言 1 1.1 研究背景 1 1.2 工作动机 2 1.3 本文的贡献 3 1.4 本文的结构 4 第二章 相关研究 5 2.1 分类模型研究现状 5 2.1.1 决策树模型 5 2.1.2 贝叶斯分类模型 6 2.1.3 k-近邻分类模型 7 2.1.4 支持向量机模型 7 2.2 主动学习算法研究现状 12 2.2.1 成员查询算法 12 2.2.2 选择抽样算法 12 2.3 意见元素识别研究现状 15 2.3.1 主题的识别 15 2.3.2 意见持有者的识别 16 2.3.3 情感的识别 16 2.4 标注工具研究现状 17 2.5 本章小结 18 第三章 语料的准备 19 3.1 语料的选取 19 3.2 语料的预处理 19 3.3 语料的标注规范 19 3.4 语料的存储 22 3.5 语料的规模 23 3.6 本章小结 23 第四章 意见元素的识别 25 4.1 主题的识别 25 4.1.1 文档的表示 25 4.1.2 核函数的确定 26 4.1.3 特征的选取 27 4.1.4 实验 37 4.2 情感的识别 39 4.2.1 基于词典的情感识别方法 39 4.2.2 基于统计方法的情感识别 42 4.2.3 实验 42 4.3 意见持有者的识别 43 4.3.1 基于规则的意见持有者识别 43 4.3.2 基于统计方法的意见持有者识别 44 4.3.3 实验 45 4.4 多分类问题 46 4.4.1 分类原理 46 4.4.2 实验 48 4.5 本章小结 49 第五章 基于主动学习的语料标注方法 50 5.1 系统架构 50 5.1.1 学习引擎 52 5.1.2 选择引擎 52 5.2 实验 57 5.3 主动学习系统的评价方法 65 5.4 本章小结 67 第六章 总结和未来的工作 68 6.1 总结 68 6.2 未来的工作 68 参 考 文 献 70 致 谢 75 攻读硕士学位期间已发表或录用的论文 76 第 第 PAGE VI 页 图片目录 图 1-1 本文采用的技术路线 3 图 2-1 线性可分的最优分类超平面 8 图 2-2 非线性可分的最优分类超平面 9 图 3-1 语料标注流程 22 图 4-1 句子依存关系示意图 29 图 5-1 系统工作流程图 51 表格目录 表 3-1 数据集详细信息 23 表 4-1 核函数实验结果 26 表 4-2 词性标注集 27 表 4-3 简化后的词性类别 28 表 4-4 词义消歧信息大类示意 31 表 4-5 词义消歧信息中类示意（物） 31 表 4-6 词义消歧信息小类示意（用品） 32 表 4-7 词义消歧信息词群示意（照相机 胶片） 33 表 4-8 词义消歧信息在不同颗粒度下的表示形式 33 表 4-9 COAE 2008 任务三数据集中语料的分布 34 表 4-10 词义消歧信息对主题识别性能的影响 35 表 4-11 意见元素在实验语料集中所占比例 36 表 4-12 权值设置表 37 表 4-13 主题识别实验方案 38 表 4-14 主题识别实验结果 38 表 4-15 情感词词典词类分布 41 表 4-16 情感识别实验结果 42 表 4-17 词义消歧信息示例（人） 44 表 4-18 词义消歧信息示例（泛称） 44 表 4-19 意见持有者识别实验结果 45 表 4-20 四分类器与二分类器意见元素识别结果对比 48 第 第 VII 页 表 5-1 四分类支持向量机决策过程示例 55 表 5-2 主题识别实验结果 K=200 58 表 5-3 主题识别实验结果 K=500 58 表 5-4 主题识别实验结果 K=1000 59 表 5-5 情感识别实验结果 K=200 60 表 5-6 情感识别实验结果 K=500 60 表 5-7 情感识别实验结果 K=1000 60 表 5-8 意见持有者识别实验结果 K=200. 61 表 5-9 意见持有者识别实验结果 K=500. 62 表 5-10 意见持有者识别实验结果 K=1000 62 表 5-11 同时识别所有意见元素的实验结果 K=200 63 表 5-12 同时识别所有意见元素的实验结果 K=500 63 表 5-13 同时识别所有意见元素的实验结果 K=1000 63 表 5-14 主动学习算法与传统机器学习算法特点对比 67 第 第 PAGE 10 页 第一章 引言 1.1 研究背景 主观性文本是相对于客观性文本而言的一种自然语言文本