基于统计和模板双层汉民翻译研究.pptVIP

基于统计和模板的双层汉民翻译研究 报告人：骆 凯 提纲 引言 统计机器翻译主流：基于短语SMT 问题探讨： 语序调整 泛化能力 短语定义 短语抽取规则 基于短语的模型分析 最初信道模型 翻译模型： 语言模型： 短语翻译模型 所有的短语对齐序列构成句子对齐 基于短语的模型分析 模板抽取 模板定义： 模板T是一个二元组 ，其中 称为源语模板， 称为译语模板，且 和 包括固定不变的部分和可变部分。固定不变的部分为常量，可变的部分为变量。 例如： 做出* 事=* VCIR UILEDHU 模板抽取 非连续模板抽取算法 输入：对齐矩阵A，源语言句子为sI，目标语言句子为tJ 输出：非连续的短语模板对 for i1 from 1 to I {//循环每一个目标语言句子词串，不超过最大短语长度； for i2 from 1 to I{ TP = {j|?i : i1 ≤ i ≤ i2 ∧ A(i, j)}; if (quasi-consecutive (TP) ) TP是连续的 { j1 = min(TP) j2 = max(TP) SP := {i |?j : j1 ≤ j ≤ j2 ∧ A(i, j)}; if (SP ? {i1, i1 + 1, . . . , i2} ) { BP = BP ∪ {(si2i1 , tj2j1)}; } /***得到连续短语内部对齐关系***/ 模板抽取 非连续模板抽取算法（续） for(i=0; ipindex; i++){ temp[0] = P_queue[i]; temp[1] = P_queue[i+1]; if(temp[0]包含temp[1]) 交换(temp[0]和temp[1]； if(temp[1]包含temp[0]) { 处理去掉temp[0]后引起的词语对齐关系偏移问题； While(length(扩展短语中文部分) = MAX_LENGTH 存在词对齐关系 词语对齐中无标点) {输出带有标记*的非连续短语模板} }}} Output: BP } 模板抽取 抽取算法举例 有时候 整天 大雨 倾 盆 JARIM-DAGAN EDURJIN B0R0GAN CIDHVLADAG 有时候 JARIM-DAGAN 有时候 整天 JARIM-DAGAN EDURJIN 有时候* JARIM-DAGAN * * 整天 * EDURJIN * 整天 大雨 * EDURJIN B0R0GAN * 整天 大雨 倾 盆 * EDURJIN B0R0GAN CIDHVLADAG * 大雨 *B0R0GAN * 大雨 倾 盆 * B0R0GAN CIDHVLADAG 有时候 * JARIM-DAGAN * 整天 * EDURJIN * 大雨 * B0R0GAN * 整天 * 倾 盆 EDURJIN * CIDHVLADAG 整天 大雨 * EDURJIN B0R0GAN * 有时候 整天 * JARIM-DAGAN EDURJIN * 有时候 整天 * 倾 盆 JARIM-DAGAN EDURJIN * CIDHVLADAG 有时候 整天 大雨 * JARIM-DAGAN EDURJIN B0R0GAN * 模板抽取 谓词引导的模板 1.为什么要用到谓词模板？？？ 汉语与蒙古语、维吾尔语、藏语、彝语等少数民族语言语序差异很大 汉语---SVO； 几个少数民族语言---SOV。 2.非连续模板抽取分析 模板抽取 抽取算法举例 有时候 整天 大雨 倾 盆 JARIM-DAGAN EDURJIN B0R0GAN CIDHVLADAG 有时候 JARIM-DAGAN 有时候 整天 JARIM-DAGAN EDURJIN 有时候* JARIM-DAGAN * * 整天 * EDURJIN * 整天 大雨