中文分词中基于主动学习的领域自适应方法.pdfVIP

网络出版地址：/kcms/detail/11.2442.N1545.013.html 北京大学学报(自然科学版) Acta Scientiarum Naturalium Universitatis Pekinensis doi: 10.13209/j.0479-8023.2016.002 中文分词中基于主动学习的领域自适应方法 † 许华婷 张玉洁 杨晓晖 单华 徐金安 陈钰枫 北京交通大学计算机与信息技术学院 , 北京 100044; †通信作者 , E-mail: yjzhang@ 摘要 在新闻领域标注语料上训练的中文分词系统在跨领域时性能会有明显下降。针对目标领域的大规模 标注语料难以获取的问题, 提出 Active learning 算法与 n-gram 统计特征相结合的领域自适应方法。该方法 通过对目标领域文本与已有标注语料的差异进行统计分析, 选择含有最多未标记过的语言现象的小规模语料 优先进行人工标注, 然后再结合大规模文本中的 n-gram 统计特征训练目标领域的分词系统。采用 CRF 训练 模型 , 在 100 万句的科技文献领域上, 验证了所提方法的有效性, 评测数据为人工标注的 300 句科技文献语 料。实验结果显示, 在科技文献测试语料上, 基于 Active learning 训练的分词系统在各项评测指标上均有提 高。 关键词 中文分词; 领域自适应 ; 主动学习 中图分类号 TP391 Domain Adaptive Method Based on Active Learning in Chinese Word Segmentation † XU Huating, ZHANG Yujie , YANG Xiaohui, SHAN Hua, XU Jin’an, CHEN Yufeng School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044; † Corresponding author, E-mail: yjzhang@ Abstract Chinese word segmentation systems, trained on annotated corpus of newspaper, often obviously decrease in performance when faced with a new domain. Since there is no large scale annotated corpus on the target domain, statistics based methods could not work well. The authors attack domain ad