基于马尔科夫间隔标注的中文分词算法.pdfVIP

基于马尔科夫间隔标注的中文分词算法* 姜文斌,王志洋,刘群,吕雅娟 中国科学院计算技术研究所 北京 100190 E-mail: {jiangwenbin, wangzhiyang, liuqun, lvyajuan}@ 摘 要：典型的判别式方法通过标注每个字符在词中的相对位置，将分词看作字符标注问题。本文提出了一个形 式化的标注策略——马尔科夫间隔标注，来对汉语进行分词。在每一步中，N 阶马尔科夫间隔标注对连续的 N+1 个字符间隔进行标注，并按照马尔科夫方式来处理这 N+1 个间隔。实验结果表明：在使用相似特征的前提下,当 阶数由0渐变为2时，间隔标注方法的分词准确率也随之增加。 关键词：判别式方法；中文分词；特征模板选择；马尔科夫间隔标注 Word Segmentation by Markov Gap-Tagging Jiang Wenbin , Wang Zhiyang, Liu Qun, Lü Yajuan Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190 E-mail: {jiangwenbin, wangzhiyang, liuqun, lvyajuan}@ Abstract: Classical discriminative approaches treat word segmentation as a character-tagging problem. This paper presents an alternative, formal tagging strategy named markov gap-tagging for Chinese word segmentation. An Nth order markov gap-tagging tags N+1 successive gap between characters at each step, and processes all these gap N+1-grams in a markov fashion. Experimental results show that, along with the markov order growing from 0 to 2, the accuracy of the gap-tagging-based segmentor increases continuously, although using similar features. Keywords: discriminative approach; Chinese word segmentation; markov gap-tagging 1. 引言 对于没有明显的词定界符的语言，例如汉语，分词是很多自然语言处理（NLP ）任务的基础。 近年来，大量的基于语料库的机器学习方法被引入: 例如，生成模型——隐马尔科夫模型 （HMM ）(Rabiner,1989)，还有判别模型——条件随机场（CRFs）(Lafferty et al.,2001)等。由于 判别模型在表示特征时更为灵活，相比生成模型，它们往往能得到更好的结果。 根据字符在词中出现的规律，(Xue and Shen,2003) 将分词看作字符标注问题。通过从上下文 中抽取特征，判别式分类器给每个字符标注一个表征它在词间相对位置的标签。当所有字符的位 置标签都确定之后，我们便可从标注序列中得到分词结果。这种方法准确而且有效：一方面，很 多判别式方法可以用来训练分类器，像最大熵 (Ratnaparkhi and Adwait,1996)；另一方面，如果 仅使用局部特征，我们可以根据动态规划搜索到全局最优的结果。此外，若在标注时引入词性 （POS ）信息，这种方法也可以同时处理分词和词性标注问题 (Ng and Low,2004)。 在上述方法中，标注集的确定都是基于经验的，可能存在不能充分利用分类器能力