基于模板的统计翻译模型研究及汉英机器翻译系统实现学习课件.ppt

目录 引言 综述 研究思路 基本设想 基于模板的统计翻译模型 转换算法 概率模型 训练算法（对齐） 与其他统计机器翻译方法的比较 实验方案 总结 基本设想 采用基于最大熵的统计机器翻译模型； 提出基于模板的统计翻译模型： 句法树对齐 抽取翻译模板 基于模板翻译模型 其它特征 汉语词法分析 汉语句法分析 基于模板的统计翻译模型 转换模型P(T|S)的输入和输出都是句法树 引入转换模板 引入模板角色概念，依据模板角色标注的思想建立起三个不同层次的统计翻译模型 基于模板的统计翻译模型的参数训练算法 转换模板－图示 vp(v:1 n:2) ? vp(vp:1 np(t(one’s) n:2)) v vp n vp vp np v n the 转换模板－定义 转换模板的形式定义： 转换模板由两个带对齐关系的句法子树组成； 两棵句法子树的根结点互相对齐； 句法子树的所有非根非叶结点对齐到空； 句法子树的叶节点或者对齐到对应句法子树的叶节点，或者对齐到空； 如果句法子树的叶节点对齐到空，那么它必须是一个终结符结点（具体词）。 转换模板反映了两棵句法子树的结点之间的对应关系 基于模板的转换 算法 以自顶向下的转换算法为例图示说明 可以采用其他搜索策略 例句： 汉：我们可以比照其它工厂的做法拟定计划。 英：We can draw up our plan in the light of the experience of other factories. 基于模板的转换(1) (a) vp(v(比照) np:1) ? pp( p(in) np(np(t(the) n(light)) pp(p(of) np:1))) v b n u n np ap np vp 比照 其它 工厂 的 做法 基于模板的转换(2) (b) np(ap:1 n(做法)) ? np(np(t(the) n(experiences)) pp:1) p b n u n np ap np:np pp of 其它 工厂 的 做法 n light p in t the np np pp 基于模板的转换(3) (c) ap(np:1 u:2) ? pp(p:2 np:1) p b n u np pp:ap np of 其它 工厂 的 n light p in t the t the n experiences pp np np pp np 基于模板的转换(4) p np of n light p in t the t the n experiences pp np np pp np b n np:np ap 其它 工厂 p:u 的 (d) u(的) ? p(of) (e) np(b:1 n:2) ? np(t:1 n:2) 基于模板的转换(5) (f) b(其他) ? t(other) (g) n(工厂) ? n(factories) t:b n:n np 其它 工厂 p of p np of n light p in t the t the n experiences pp np np pp np ap 基于模板的转换(6) t n other factories np p of p np of n light p in t the t the n experiences pp np np pp np ap 结 果 建立基于模板的翻译模型 将翻译概率转化为对齐概率： 将对齐概率理解为标注概率： 将句法树的翻译过程理解为对源语言句法树结点的一个标注过程 为句法树的标记建立概率模型 转换模板的标注－图示 为源语言句法树的每一个结点进行转换模板标注： v b n u n np ap np vp 比照 其它 工厂 的 做法 (a) (b) (c) (d) (e) (f) (g) (a) (b) 转换模板的标注－问题 问题： 一个转换模板作用于多个源语言结点时，对于不同源语言结点的标记无法区分 举例说明： 上例中模板(a)同时作用于vp和v两个结点，在计算标注的概率时，对于这两个结点显然要作不同的考虑，仅采用模板标记容易造成混淆。 模板角色的定义 模板角色： 转换模板中源语言句法子树的每一个非叶结点被称为一个模板角色 例子 模板： (a) vp(v(比照) np:1) ? …… 模板角色： (a) vp[a0](v[a1](比照) np:1) vp vp np v (a1) (a0) 模板角色的标注－图示 v b n u n np ap np vp 比照 其它 工厂 的 做法 (a0) (b0) (c0) (d0) (e0) (f0) (g0) (a1) (b1) 为源语言句法树的每一个结点进行模板角色标注： 模板角色标注－概率模型1 假设每一个源语