词语对齐的快速增量式训练方法研究.pdfVIP

北京大学学报 ( 自然科学版) Acta Scientiarum Naturalium Universitatis Pekinensis 词语对齐的快速增量式训练方法研究 罗维 中国科学院计算技术研究所, 北京 100190; † E-mail: vividfree@ 摘要 围绕翻译模型构建流程的瓶颈——词语对齐, 着手翻译模型的增量式训练。在基于无监督学习的词语 对齐模型的基础上, 提出一种基于初始化同时应用迭代训练收敛速度更快的 online EM 算法 , 以替换通常所 用的 batch EM 算法的方法 , 实现增量式训练。实验表明, 所提出的方法既高效又能保证词语对齐质量和机器 翻译质量。 关键词 统计机器翻译 ; 词语对齐 ; 增量式训练 ; 期望最大化 ; 在线算法 中图分类号 TP391 Research on Fast Incremental Training Algorithm for Word Alignment LUO Wei Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190; † E-mail: vividfree@ Abstract This study puts emphasis on the incremental training algorithm for word alignment, which is the bottleneck during the construction of translation model. Based on two unsupervised word alignment models, the authors propose an incremental training algorithm which is based on initialization and online EM algorithm. Experiments show that the proposed methods are efficient and would not hurt the quality of word alignment and translation. Key words statistical machine translation; word alignment; incremental training; expectation maximization; online algorithm 近年来, 统计机器翻译取得了很大的成功。统 量会最终影响机器翻译质量 , 因而词语对齐成为翻 计机器翻译模型依赖于大规模双语语料库的训练。 译模型训练的一个瓶颈。然而 , 目前只有很少的文 当新增语料时, 传统的翻译模型训练方法需要首先 献对词语对齐的增量式训练做了探讨 [1–2] 。文献[1] 合并新语料和原始语料 , 并重新进行模型训练。这 对原始数据上训练出的原始模型和新数据上训练出 种训练方法存在两方面不足。其一 , 当训练数据规 的新模型进行插值得到最终的模型, 再在新数据上 模增大到一定规模时 , 这种训练方法需要消耗大量 生