统计机器翻译系统中传统词典的应用研究.ppt

统计机器翻译系统中传统词典的应用研究 曹杰 任志祥 吕雅娟 刘群 {caojie, renzhixiang, lvyajuan, liuqun}@ 提纲 研究背景 词典在SMT的应用策略 训练部分 解码部分 实际系统中动态词典的使用 实验 总结 研究背景 词典资源分类 词典的分类 普通词典 领域词典 提纲 研究背景 词典在SMT的应用策略 训练部分 解码部分 实用系统中动态词典的使用 实验 总结 训练部分 解码部分 将词典作为特征融入解码 log-linear模型 解码部分 词典特征：互译句对中含有的词条数目 动态词典的使用策略 动态词典的使用策略 提纲 研究背景 词典在SMT的应用策略 训练部分 解码部分 实际系统中动态词典的使用 实验 总结 实验设置 解码器 Camel 语料情况 词典在训练部分作用实验结果 词典在训练部分作用实验结果 词典在训练部分作用实验结果 词典在训练部分作用实验结果 词典在解码部分作用实验结果 动态词典的应用效果 例句 [src] 可活血化瘀、增加血液循环、养血润肤,用于治疗牛皮癣。 [ref] It has blood circulation promoting , blood stasis dispelling , blood circulation improving , blood nourishing , and skin caring effects , and used to treat psoriasis . [without-dict] It is effective for blood circulation promoting dispelling blood stasis, increasing blood circulation, nourishing blood circulation and relaxing the skin, It can be used for the treatment of psoriasis. [dict] 活血化瘀 blood circulation promoting ;养血 nourishing blood; 润肤caring skin [with-dict] It is effective for blood circulation promoting, increasing blood circulation, nourishing blood and caring skin, It can be used for the treatment of psoriasis. 提纲 研究背景 词典在SMT的应用策略 训练部分 解码部分 实际系统中动态词典的使用 实验 总结 总结 词典在统计机器翻译的应用 训练阶段：加权使用词典 解码阶段：加入词典特征 实用系统：动态词典匹配 策略简单但在实际的系统中非常有效! 参考文献 Hua Wu, Haifeng Wang, Chengqing Zong. 2008. Domain Adaptation for Statistical Machine Translation with Domain Dictinary and Monolingual Corpora. In Proceedings of the 22nd International Conference on Computational Linguistics, pages 993-1000. Franz Josef Och, Hermann Ney. 2002. Discriminative Training and Maximum Entropy Models for Statistical Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pages 295-302. Franz Josef Och. 2003. Minimum Error Rate Training in Statistical Machine Translation. In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pages 160-167. Papineni kishore et al. 2002. BLEU: a Method for Automatic Evaluation of Machine Trans