面向领域文献的无监督中文分词自动优化方法.PDFVIP

研究论文 面向领域文献的无监督中文分词自动优化 方法* 倪维健 孙浩浩 刘 彤 曾庆田 ( 山东科技大学计算机学院 青岛 266510) 摘要: 【目的 】对现有中文分词方法在领域文献上的分词结果进行调整, 以提升领域文献上的分词效果。【方法】 对传统中文分词方法处理领域文献的不足进行分析, 以此为基础设计一个反映领域文献构词特点的分词指标 ——词频偏差, 并基于该指标提出一个无监督的分词结果优化方法。【结果】基于农业领域语料开展实验, 结果 表明该方法对比 ICTCLAS、THULAC 和 LTP 的分词结果 F1 值提升 2%-3%, 并具有实现简单、参数鲁棒性强的 特点。【局限】提升召回率方面效果不佳。【结论】基于词频偏差的分词结果优化算法能够有效提升已有分词结 果的准确性, 且无需领域词表及人工标注语料, 具有良好的领域适用性。 关键词: 领域文献 中文分词 分词优化 词频偏差 分类号: TP391 G35 DOI : 10.11925/infotech.2096-3467.2017.0990 空间。 1 引 言 针对领域文献中文分词效果不佳这一现实问题, 中文分词是中文信息处理中的一项关键基础技 本文开展面向领域文献的中文分词研究。区别于传统 术, 近年来研究者们展了大量研究[1], 提出众多中文 的中文分词研究, 本文的目标不是提出一个全新的领 分词方法, 其中代表性的有中国科学院计算技术研究 域文献分词方法, 而是将已有的中文分词方法视作一 所的 ICTCLAS[2]、清华大学的 THULAC[3]、哈尔滨工 个黑盒, 针对使用已有方法得到的分词结果进行调整, 业大学的 LTP[4]等。虽然各种中文分词方法在技术实 从而提升领域文献分词的准确性。以此为出发点, 本 现上千差万别, 但分词效果往往对特定资源(人工词表 文设计了一种中文分词优化方法。通过分析已有中文 或人工分词语料)具有较强依赖, 这导致现有分词方法 分词工具在领域文献分词结果中的错误, 发现容易出 虽在各类开放测评中表现优异, 但在一些分词资源稀 现分词错误的词语往往具有低频率、高聚集的特点, 缺的应用场景中表现得并不尽如人意。对于一些专业 针对这一规律引入一个新的构词指标——词频偏差。 性很强的领域, 通常缺乏完善、权威的领域词典; 此 基于该指标, 设计一种无监督算法对传统分词工具的 外 , 现有的人工分词语料多来源于新闻等传统领域, 分词结果进行调整。 高昂的人工标注成本使得很少有研究者开展领域分词 本文工作的主要创新在于 : 对分词结果进行优化 语料的构建工作。因此, 传统中文分词技术难以直接 可以充分利用中文分词领域多年来的研究成果, 面向 有效地应用于领域文献, 分词效果尚存在很大的改进 领域文献开展有针对性的研究, 而无需重新解决中文 通讯作者 : 刘彤 , ORCID: 0000-0003-4947- 1340, E-mail: liu_tongtong@。 *本文系国家自然科学基金项目“面向用户群组 的结构化推荐技术及其应用研究”(项目编号 : 、“应急预案流程图谱自动建 模方法及其在场景式诊断中的应用”(项目编号 : 和“农业大数据环境下多粒度知识融合方法研究”(项目编号 : 的研 究成果之一。 96 数据分析与知识发现 总第14 期 2018 年 第2 期 分词中的各个难题; 本文提出的分词优化方法是一种 2.2 领域自适应的中文分词方法 无监督方法, 无需领域词表以及人工标注的分词语料