关于机器翻译中的参数学习问题的思考.pdf

关于机器翻译中的参数学习问题的思考 黄书剑 计算机软件新技术国家重点实验室 南京大学计算机科学与技术系 提纲 n  参数是什么？ n  参数如何学习？ n  我们的一些尝试 n  思考和总结 15/10/8 2 统计机器翻译中的模型参数 参数是什么？ 15/10/8 3 生成式模型中的参数 n  生成式模型：The Source-Channel Model [Brown et al. 1993] ¡  参数即概率模型 语言模型 翻译模型 ¡  概率模型的估计采用训练数据上的极大似然估计进行 15/10/8 4 判别式模型中的参数 n  判别式模型：Log-linear Models [Och and Ney, 2002] ¡  参数包括子模型参数及对数线性模型参数 对数线性模 型的参数 子模型参数： 短语翻译模型 词翻译模型 语言模型 … 15/10/8 5 子模型之间的参数 n  对数线性模型的参数描述了不同子模型之间的组 合关系 n  两个子模型共同决策的例子： ¡  语言模型（LM）偏向短的翻译 ¡  词计数（WC ）偏向长的翻译 ¡  “ 中国”: “China” “People ’s Republic of China” ¡  一个给定的对数线性模型会在LM和WC 间给出平衡 15/10/8 6 子模型之间的参数(cont.) n  对数线性模型的参数描述了不同子模型之间的组 合关系 n  当有第三个子模型参与决策时： ¡  语言模型（LM）偏向短的翻译 ¡  词计数（WC ）偏向长的翻译 ¡  翻译模型（TM ）描述翻译质量 ¡  “办公室”: “office” “the office of” “the office of the” 疑惑：不同词、句可以用同一组线性组合参数描述吗？ 15/10/8 7 问题一 n  如何表示子