基于模板的统计翻译模型研究及汉英机器翻译系统实现-自然语言处理.PPT

基于模板的统计翻译模型研究及汉英机器翻译系统实现 刘群 liuqun@ 目录 引言 综述 研究思路 实验方案 总结 引言 本文的主要工作 提出一个基于模板的统计翻译模型 给出一个汉英机器翻译系统的实现方案 本文的主要创新 给出了转换模板的定义及模板抽取算法 提出模板角色概念并给出三种统计翻译模型 给出该模型的参数估计算法 目录 引言 综述 机器翻译的范式 统计机器翻译综述（三种主要的方法） 统计机器翻译小结 研究思路 实验方案 总结 机器翻译的范式 统计机器翻译方法的界定 区别于规则方法： 利用语料库作为知识来源 无需人工编写规则 区别于实例方法或模板方法： 建立完整的统计模型 必须为整个翻译过程，而不是其中某个局部，建立统计模型 统计机器翻译的分类 基于平行概率语法的统计机器翻译模型 基于信源信道思想的统计机器翻译模型 IBM的Peter Brown等人首先提出 目前影响最大 几乎成为统计机器翻译的同义词 基于最大熵的统计机器翻译模型 源于基于特征的自然语言理解 Och提出，获ACL2002最佳论文 统计机器翻译的优缺点 优点 无需人工编写规则，利用语料库直接训练得到机器翻译系统；（但可以使用语言资源） 系统开发周期短； 鲁棒性好； 译文质量好； 缺点 时空开销大； 数据稀疏问题严重； 对语料库依赖性强； 算法研究不成熟。 基于平行概率语法的统计机器翻译模型 基本思想 两种语言建立一套平行的语法规则， 规则一一对应 两套规则服从同样的概率分布 句法分析的过程决定了生成的过程 主要模型 Alshawi的基于Head Transducer的MT模型 吴德恺的Inverse Transduction Grammar（ITG） Takeda的Pattern-based CFG for MT Head Transducer MT (1) Head Transducer（中心词转录机）是一种Definite State Automata（有限状态自动机） 与一般的有限状态识别器的区别： 每一条边上不仅有输入，而且有输出； 不是从左至右输入，而是从中心词往两边输入 Head Transducer MT(2) Head Transducer MT(3) 所有的语言知识（词典、规则）都表现为Head Transducer； Head Transducer可以嵌套：一个Head Transducer的边是另一个的识别结果； 纯统计的训练方法；对齐的结果是依存树：不使用词性和短语类标记； Chart句法分析器。 Inversion Transduction Grammar(1) 比赛星期三开始。 The game will start on Wednesday。 Inversion Transduction Grammar(2) 规则形式： A → [ B C ] A → B C A → x/y 产生源语言和目标语言串分别为： BC BC：词序相同 BC CB：词序交换 x y：词典 Pattern-based CFG for MT (1) 每个翻译模板由一个源语言上下文无关规则和一个目标语言上下文无关规则（这两个规则称为翻译模板的骨架），以及对这两个规则的中心词约束和链接约束构成； 举例： S:2 → NP:1 岁:MP:2 了 ──────────── S:be → NP:1 be year:NP:2 old Pattern-based CFG for MT (2) 中心词约束：对于上下文无关语法规则中右部（子结点）的每个非终结符，可以指定其中心词；对于规则左部（父结点）的非终结符，可以直接指定其中心词，也可以通过使用相同的序号规定其中心词等于其右部的某个非终结符的中心词； 链接约束：源语言骨架和目标语言骨架的非终结符子结点通过使用相同的序号建立对应关系，具有对应关系的非终结符互为翻译。 信源－信道模型 Ｔ 统计机器翻译基本方程式 P.Brown称上式为统计机器翻译基本方程式 语言模型：P(S) 翻译模型：P(T|S) 语言模型反映“ S 像一个句子”的程度：流利度 翻译模型反映“T像S”的程度：忠实度 联合使用两个模型效果好于单独使用翻译模型，因为后者容易导致一些不好的译文。 语言模型与翻译模型 考虑汉语动词“打”的翻译：有几十种对应的英语词译文： 打人，打饭，打鱼，打毛衣，打猎，打草稿，…… 如果直接采用翻译模型，就需要根据上下文建立复杂的上下文条件概率模型 如果采用信源－信道思想，只要建立简单的翻译模型，可以同样达到目标词语选择的效果： 翻译模型：不考虑上下文，只考虑单词之间的翻译概率 语言模型：根据单词之间的同现选择最好的译文词 统计机器翻译的三个问题 三个问题： 语言模型P(S)的参数估计 翻译模型P(T