中文分词和词性标注的在线重排序方法.pdfVIP

中文分词和词性标注的在线重排序方法 孟凡东 谢军 刘群 中国科学院 计算技术研究所 智能信息处理重点实验室，北京 100190 {mengfandong,xiejun,liuqun}@ict.ac.cn 特征，增大解码空间，结果比单独分词、词性 摘要 标注的基线系统效果都好。 当前主流的中文分词与词性标注方法将 基于字标注的分词方法，通常使用的是局 分词和词性标注问题看成是序列标注问 部特征。局部特征是在一定长度的窗口范围内 题，通常利用局部特征训练判别式模 抽取字的上下文信息，距离该字较远的信息难 型。该方法取得了很好的效果，但是与 以得到充分的利用。虽然只利用局部特征已经 词、词性相关的全局特征并没有被充分 可以取得很好的结果，但是引入全局特征可以 的利用。为了更好的处理分词和词性标 进一步增强处理歧义的能力，对于分词与词性 注的歧义，传统的重排序方法在第一次 标注来说是有帮助的。 解码的 n-best 候选结果集上，利用全局 通常使用全局特征的方法是重排序方法。 特征进行二次解码，重新选择一个更好 即第一次利用局部特征训练分类器进行解码， 的结果。该方法往往需要保留较大的候 保留 n-best 候选结果表；然后利用重排序技术 选结果集，并需要两次解码。本文提出 进行第二次解码，在这 n-best 候选结果列表里 了一种在线重排序方法，将重排序过程 重新选择出最好的结果。这种方法在一定程度 融合到一次解码的过程中，充分利用局 上提高了分词、词性标注的效果，但是往往需 部和全局特征，在一次解码时利用更多 要在第一次解码时保留较大的 n-best 列表，才 信息以减少搜索错误，选择一个更好的 能找到真正的最优解。 结果。本文在中文宾州树库(CTB5.0)和 本文提出中文分词与词性标注的在线重排 微软亚洲研究院语料(MSR)上做实验，结 序方法，将分词解码过程与重排序过程融合在 果表明,本方法相对于只用局部特征训练 一个框架下，在充分利用传统的局部特征的基 的基线系统以及传统的重排序方法都有 础上，补充利用全局特征。利用堆栈搜索算法 明显的效果提升。 解码。我们为每个字保留一个堆栈，存储从第 一个字到当前字为止的最好的候选结果集，以 供在线重排序使用。相对于传统的重排序方 1 引言 法，本方法旨在一次解码过程中利用更多的信 息尽量避免错误，以便搜索到更好的结果。本 Xue and Shen (2003) 首先提出将分词问题 方法只需要为每个字保留一个很小的堆栈，效 转化为基于字的序列标注问题，当前主流的中