反向转录语法和括号转录语法.ppt

机器翻译原理与方法第五讲 基于句法的统计机器翻译方法 中国科学院计算技术研究所2009年秋季课程 内容提要 概述 同步语法概念 反向转录语法和括号转录语法 基于最大熵括号转录语法的翻译模型 同步上下文无关语法和同步树替换语法 层次短语模型 树到串翻译模型 串到树翻译模型 总结 概述 基于短语的统计翻译方法的问题 基于句法的统计翻译方法的分类 目前的进展（the state of the art） 基于短语的统计翻译方法的问题 泛化能力差 中国大使馆、美国大使馆 ? 月球大使馆？ 产生的句子不符合语法 短语的简单组合，没有句法结构 无法表示不连续的短语搭配的翻译 召开了一次关于…的会议 hold a meeting on … 无法进行长距离的语序调整 解决办法：引入句法结构！ 统计机器翻译方法的金字塔 基于句法的统计机器翻译模型(1) 基于句法的统计机器翻译模型(2) 形式上基于句法的模型 不使用任何语言学知识 所有句法结构直接从未标注的语料库中自动学习得到 语言学上基于句法的模型 使用语言学知识 语言通常要从句法树库训练得到 树到串模型：只在源语言端使用语言知识 串到树模型：只在目标语言端使用语言知识 树到树模型：在源语言端和目标语言端都使用语言知识 形式上基于句法的模型 反向转录语法（ITG）和括号转录语法（BTG） Inversion (Bracketing) Transduction Grammar (ITG,BTG), Wu 1997 有限状态中心词转录机 Finite-State Head Transducer, Alshawi 2000 基于层次短语的翻译模型 Hierarchical Phrase-based Model, Chiang 2005 最大熵括号转录语法的翻译模型 Maximal Entropy Bracket Transduction Grammar (ME-BTG), Xiong 2006 语言学上基于句法的模型 串到树模型 String-to-Tree Model 美国南加州大学信息科学研究所（ISI/CSU）的工作 Yamada 2001, Galley 2006, Marcu 2006 树到串模型 Tree-to-String Model 中科院计算所的工作 Tree-to-string Alignment Template Model (TAT), Liu Yang 2006 微软研究院的工作（依存模型） Dependency Treelet Translation, Quirk 2005 树到树的模型 Tree-to-Tree Model 内容提要 概述 同步语法概念 反向转录语法和括号转录语法 基于最大熵括号转录语法的翻译模型 同步上下文无关语法和同步树替换语法 层次短语模型 树到串翻译模型 串到树翻译模型 总结 同步语法 (1) 定义：同步语法是一种形式语法，这种语法的每一次推导，都在两种或者两种以上语言中同步生成一个句子。 同步语法 (2) 同步语法的具体形式： 同步上下文无关语法（SCFG） 反向转录语法(ITG)和括号转录语法(BTG) 同步树替换语法(STSG) 同步树粘接语法(STAG) 多文本语法(MTG) 同步语法的应用： 编译中的代码生成 自然语言的语义解释 自然语言的机器翻译 双语语料库的对齐 同步语法 (3) 同步语法与统计机器翻译 同步语法是很多基于句法的统计机器翻译模型的理论基础 理论上说，如果采用同步语法，在完成源语言句法分析的同时，目标语言就生成了，因此可以利用各种成熟的句法分析算法进行机器翻译，而无需另外设计专门的翻译算法 另一方面，采用同步语法对源语言进行句法分析时，要把目标语言的因素考虑进来，这不同于通常的句法分析 内容提要 概述 同步语法概念 反向转录语法和括号转录语法 基于最大熵括号转录语法的翻译模型 同步上下文无关语法和同步树替换语法 层次短语模型 树到串翻译模型 串到树翻译模型 总结 反向转录语法 Inversion Transduction Grammar：ITG 吴德凯(1997 onwards) ITG是一种形式最简单的同步语法，可以并行地生成两颗对齐的句法树 ITG的规则都是乔姆斯基范式形式的 规则的右部或者全部是终结符，或者全部是终结符 非终结符规则都是二分的 ITG的规则可以指定语序的变化：保序 或 逆序 ITG中两种语言的规则使用同一套非终结符 ITG中对规则的二分限制降低了搜索的复杂度 反向转录语法 反向转录语法 基于反向转录语法的统计机器翻译 (1) 训练：从词语对齐的语料库中自动抽取规则 解码：类似于一个概率化句法分析的过程 利用规则的源语言部分进行句法分析 存在源语言部分相同而目标语言部分不同的规则（保