统计与词典相结合的领域自适应中文分词CombiningStatisticalModel.PDFVIP

* 统计与词典相结合的领域自适应中文分词 张梅山，邓知龙，车万翔，刘挺 哈尔滨工业大学信息检索研究中心哈尔滨150001 E-mail: {mszhang, zldeng, car, tliu}@ 摘 要：基于统计的中文分词方法往往不具有良好的领域自适应性。本文通过将外部词典信息融入统计分词模型 （本文使用CRF 统计模型）来实现领域自适应性。实验表明，这种方法具有良好的领域自适应性。当测试领域和 训练领域相同时，分词的F-measure 值提升了2%；当测试领域和训练领域不同时，分词的F-measure 值提升了6%。 最终优化后的分词速度也得到了很大的改善。 关键词：中文分词；CRF；领域自适应 Combining Statistical Model and Dictionary for Domain Adaption of Chinese Word Segmentation Meishan Zhang, Zhilong Deng, Wanxiang Che, Ting Liu Center for Information Retrieval of Computer Science Technology School, Harbin Institute of Technology, Harbin 150001 E-mail: : {mszhang, zldeng, car, tliu}@ Abstract: Generally, statistical methods for Chinese Word Segmentation don’t have good domation adaption. We propose an approach which can integrate extern dictionary information into statistical models to realize domain adaption for Chinese Word Segmentation.In the paper, we use the CRF statistical model.. Experimental results show that our approach have good domain adaption. When domain of test corpus is identical to the training corpus, the F-measure value has an increase of 2%; when domain of test corpus is different with the training corpus, the F-measure value has an increase of 6%. The final speed of segmentation has also been improved greatly after optimized. Key words: Chinese Word Segmentation; CRF; Domain Adaption 1 引言 中文分词是中文自然语言处理中最基本的一个步骤，非常多的研究者对它做了很深入的研 究，也因此产生了很多不同的分词方法，这些方法大体上可以分为两类：基于词典匹配的方法和 基于统计的方法。 [1] 基于词典的方法 利用词典作为主要的资源，这类方法不需要考虑领域自适应性的问题，它 只需要有相关领域的高质量词典即可，但是这类方法不能很好的解决中文分词所面临的歧义性问 题以及未登录词问题。 基于统计的方法[2][3][4][5]是近年来主流的分词方法，它采用已经切分好的分词语料作为主要 的资源，最终形成一个统计模型来进行分词解码。基于统计的方法在分词性能方面有了很大的提 高，但是在跨领域方面都存在着很大的不足，它们需要针对不同的领域训练不同的统计分词模型。 这样导致在领域变换后，必须为它们