统计机器翻译综述-ictaccn.ppt

统计机器翻译简介 刘群 liuqun@ 统计机器翻译方法的特点 利用语料库作为知识来源 区别于规则方法：无需人工编写规则 建立完整的统计模型 区别于实例方法或模板方法：必须为整个翻译过程建立统计模型 统计机器翻译的分类 基于平行概率语法的统计机器翻译模型 基于信源信道思想的统计机器翻译模型 IBM的Peter Brown等人首先提出 目前影响最大 几乎成为统计机器翻译的同义词 基于最大熵的统计机器翻译模型 源于基于特征的自然语言理解 Och提出，获ACL2002最佳论文 统计机器翻译的优缺点 优点 无需人工编写规则，利用语料库直接训练得到机器翻译系统；（但可以使用语言资源） 系统开发周期短； 鲁棒性好； 译文质量好； 缺点 时空开销大； 数据稀疏问题严重； 对语料库依赖性强； 算法研究不成熟。 基于平行概率语法的统计机器翻译模型 基本思想 两种语言建立一套平行的语法规则， 规则一一对应 两套规则服从同样的概率分布 句法分析的过程决定了生成的过程 主要模型 Alshawi的基于Head Transducer的MT模型 吴德恺的Inverse Transduction Grammar（ITG） Takeda的Pattern-based CFG for MT Head Transducer MT (1) Head Transducer（中心词转录机）是一种Definite State Automata（有限状态自动机） 与一般的有限状态识别器的区别： 每一条边上不仅有输入，而且有输出； 不是从左至右输入，而是从中心词往两边输入 Head Transducer MT(2) Head Transducer MT(3) 所有的语言知识（词典、规则）都表现为Head Transducer； Head Transducer可以嵌套：一个Head Transducer的边是另一个的识别结果； 纯统计的训练方法；对齐的结果是依存树：不使用词性和短语类标记； Chart句法分析器。 Inversion Transduction Grammar(1) 比赛星期三开始。 The game will start on Wednesday。 Inversion Transduction Grammar(2) 规则形式： A → [ B C ] A → B C A → x/y 产生源语言和目标语言串分别为： BC BC：词序相同 BC CB：词序交换 x y：词典 Pattern-based CFG for MT (1) 每个翻译模板由一个源语言上下文无关规则和一个目标语言上下文无关规则（这两个规则称为翻译模板的骨架），以及对这两个规则的中心词约束和链接约束构成； 举例： S:2 → NP:1 岁:MP:2 了 ──────────── S:be → NP:1 be year:NP:2 old Pattern-based CFG for MT (2) 中心词约束：对于上下文无关语法规则中右部（子结点）的每个非终结符，可以指定其中心词；对于规则左部（父结点）的非终结符，可以直接指定其中心词，也可以通过使用相同的序号规定其中心词等于其右部的某个非终结符的中心词； 链接约束：源语言骨架和目标语言骨架的非终结符子结点通过使用相同的序号建立对应关系，具有对应关系的非终结符互为翻译。 信源－信道模型 Ｔ 统计机器翻译基本方程式 P.Brown称上式为统计机器翻译基本方程式 语言模型：P(S) 翻译模型：P(T|S) 语言模型反映“ S 像一个句子”的程度：流利度 翻译模型反映“T像S”的程度：忠实度 联合使用两个模型效果好于单独使用翻译模型，因为后者容易导致一些不好的译文。 语言模型与翻译模型 考虑汉语动词“打”的翻译：有几十种对应的英语词译文： 打人，打饭，打鱼，打毛衣，打猎，打草稿，…… 如果直接采用翻译模型，就需要根据上下文建立复杂的上下文条件概率模型 如果采用信源－信道思想，只要建立简单的翻译模型，可以同样达到目标词语选择的效果： 翻译模型：不考虑上下文，只考虑单词之间的翻译概率 语言模型：根据单词之间的同现选择最好的译文词 统计机器翻译的三个问题 三个问题： 语言模型P(S)的参数估计 翻译模型P(T|S)的参数估计 解码（搜索）算法 语言模型 把一种语言理解成是产生一个句子的随机事件 语言模型反映的是一个句子在一种语言中出现的概率 语言模型 N元语法 P(S)=p(s0)*p(s1|s0)*…*p(Sn|Sn-1…Sn-N) 链语法：可以处理长距离依赖 PCFG（要使用句法标记） 翻译模型与对齐 引入隐含变量：对齐A IBM Model 对P(T,A|S)的估计 IBM Model 1仅考虑词对词的互译概率 IBM Model