机器翻译原理与方法讲义.pdf

机器翻译原理与方法 第六讲 基于短语的机器翻译方法 刘群 中国科学院计算技术研究 liuqun@ 中国科学院计算技术研究所2011年秋季课程 内容提要 • 对数线性模型 • 最小错误率训练 • 基于对数线性模型的词语对齐 • 基于短语的翻译模型 • 短语模型的解码算法 • 开源机器翻译系统简介 • 总结 机器翻译原理与方法(06) 基于短语的机器翻译方法 2 统计机器翻译的对数线性模型(1) • Och 于 ACL2002 提出，思想来源于 Papineni 提出的基于特征的自 然语言理解方法，该论文获得 ACL2002 的最佳论文称号 • 不使用信源信道思想，而是采用多特征思想 • 信源信道模型是一种生成模型，而对数线性模型是一种判别模型 • 是一个比信源信道模型更具一般性的模型，信源信道模型是其一个 特例 • 原始论文的提法是“最大熵”模型，现在通常使用“对数线性 （Log-Linear）模型”这个概念。“对数线性模型”的含义比“最 大熵模型”更宽泛，而且现在这个模型通常都不再使用最大熵的方 法进行参数训练，因此“对数线性”模型的提法更为准确。 • 与 NLP 中通常使用的最大熵方法的区别：使用连续量（实数）作为 特征，而不是使用离散的布尔量（只取0和1值）作为特征 机器翻译原理与方法(06) 基于短语的机器翻译方法 3 统计机器翻译的对数线性模型(2) 假设 e、f 是机器翻译的目标语言和源语言句子， h (e,f), …, h (e,f) 分别是 e、f 上的 M 个特征， 1 M λ , …,λ 是与这些特征分别对应的 M 个参数， 1 M 那么直接翻译概率可以用以下公式模拟： P e ∣f =p  ... e ∣f  1 M M exp ∑ m hm e , f  m =1 = M ∑ exp ∑ m hm e , f  e m =1 机器翻译原理与方法(06) 基于短语的机器翻译方法 4 统计机器翻译的对数线性模型(3) 对于给定的 f，其最佳译文 e 可以用以下公 式表示： e =argmax P e ∣f  e M =argmax ∑ m hm e , f  e m =1 机器翻译原理与方法(06) 基于短语的机器翻译方法 5 对数线性模型 vs. 噪声信道模型 • 取以下特征和参数时，对数线性模型等价 于噪声信道模型： – 仅使用两个特征 – h (e,f)=log p(e) 1 – h (e,f)=log p(f|e) 2