基于噪声信道模型统计机器翻译的学习笔记.pdfVIP

基于噪声信道模型的SMT学习笔记 理论 翻译系统源语言：e(英语) 目标语言：f(法语) 从f 翻译到e 本来人们想说e 结果在说的过程中受到类似噪声的干扰，结果说出了f 。所以我 们必须得将f 还原成与e 最相似的语句。这个过程就是噪声信道的模型。 统计机器翻译就是对于给定的f，找到相应的e，使P(e|f)最大，为argmax P(e|f) 。 e 通过贝叶斯公式得：P(e|f) =P(e)*P(f|e)/P(f) ； 则argmax P(e|f) = argmax P(e) * P(f|e) 。 e e P(f)与e 无关，所以P(f)可以忽略。这样P(e|f)就有两个因素决定(1) P(e)，(2) P(f|e) ； 其中P(e)表示e 在该语言中的流利度，也就是是否符合该语言的语法规则；P(f|e) 表示e 翻译成f 的概率。之所以不直接估计P(e|f) ，主要有两个原因：(1) 可以将 e 和f 分别看作是疾病和症状，那么从e 推出f(P(f|e)) 比较可行，而很难从f 推出 e(P(e|f)) 。(2) 引入P(e) ，这样翻译出来的语句更像人话。 这样一个SMT 系统的任务就分成了三部分： (1) 估计P(e) ，即语言模型 (2) 估计P(f|e)，即翻译模型 (3) 用一个合适的算法找到一个e 使得P(e) * P(f|e)最大（至少是尽可能大）。 翻译模型提供的是一些语言单词，而忽略这些单词之间的相对顺序；语言模型的 作用就是找出符合该语言语法规则的顺序。 语言模型 估记P(e) 的值一般是基于现有的语言“数据库”，该数据库存储的是日常生活中人 们所说的一些语句，这些语句通常都符合语法规则。num(k) = k 在该数据库中出 现的次数。 (1) P(e)=num(e) / 数据库中语句的总数。但是会出现一个不好的现象就是：e 是 一条好的语句，但是没在该数据库中出现过，所以其次数为 0，从而 P(e)也 为 0 。这样e 就会被认为是差语句而被抛弃。为了解决这个问题将引入一个 平滑系数。 (2) 在估计P(e) 时，可以引入一个N 元的概念，就是连续N 个单词组成的字符串。 我们用b(y|x)表示单词y 出现在单词x 后的概率，即字符串xy 出现的概率， b(z|xy)表示单词z 出现在xy 后即字符串xyz 的概率，以此类推。那么若e 由 单词 e1 ，e2 ，e3…..en 组成。这样如果以二元模型来估计，那么 P(e) = b(e1|etart)*b(e2|e1)*b(e3|e2)……*b(fnd|en)；如果以三元模型来估计，那么P(e) =b(e1|etart)*b(e2|etart e1)*b(e3|e1e2)….*b(fnd|en-1en) 。引入平滑系数的作用在 于当e 中的子串没在数据库中出现时，不会出现为0 的状况(即b(z|xy) = 0) 。 b(z|xy) =num(“xyz”)/num(“yz”) ；用平滑系数可以将b(z|xy)= 0.95*num(“xyz”) /num( “xy”) + 0.04*num (“yz”) / num (“z”) + 0.008*num(“z”) /数据库中语句的 总数+ 0.002 ；其中0.95，0.04，0.008，0.002 就是平滑系数。平滑系数按照不 同的系统来设定不同的值，但其和必须为 1。这样即使z 在整个数据库中都 没出现过b(z|xy) 的值为0.002 而不是0，避免的(1) 中的问题。 (3) 在存储P(e) 的值时可以用 - log (P(e)) / N 来替换P(e) 的值从而避免P(e) 2 太小不易运算、判定。 翻译模型 当给定一句f 往回推出一句e，且e 能很好地翻译成f 。判断e 是否能很好的 翻译成f 就通过P