从统计机器翻译到神经机器翻译范式更替与融合-中文信息技术专业.pdf

深度学习在机器翻译中的最新进展 熊德意 苏州大学 2017 年 11 月 9 日 目标 一． NMT基本知识 二． NMT固有问题及应对方法 三． NMT最新动态 四． NMT研究思路、角度与方法 五． NMT未来发展趋势 Part1 一． 神经机器翻译简介 二． 改进的注意力机制 三． 神经机器翻译固有问题应对方法 四． 神经机器翻译与统计机器翻译的融合 五． 字符级神经机器翻译 六． 短语级神经机器翻译 Part2 一． 句法驱动的神经机器翻译 二． 多语与多模态神经机器翻译 三． 面向资源稀缺语种的神经机器翻译 四． 神经机器翻译深度模型 五． 神经机器翻译新架构 六． 神经机器翻译未来发展方向 Part1 一． 神经机器翻译简介 二． 改进的注意力机制 三． 神经机器翻译固有问题应对方法 四． 神经机器翻译与统计机器翻译的融合 五． 字符级神经机器翻译 六． 短语级神经机器翻译 神经机器翻译（NMT）  直接采用神经网络实现源语言到目标语言翻译 t = (Prime Minister of Laos made an official visit to China) s = (老挝政府总理对 中国进行正式访问) 早期方法 （80-90年代）  Allen 1987 IEEE 1st ICNN 3310 En-Es pairs constructed on 31En, 40 Es words, max 10/11 word sentence; 33 used as test set The grandfather offered the little girl a book ➔ El abuelo le ofrecio un libro a la nina pequena Binary encoding of words – 50 inputs, 66 outputs; 1 or 3 hidden 150-unit layers. Ave WER: 1.3 words Robert Allen. Several Studies on Natural Language and Back-Propagation. IEEE First International Conference on Neural Networks, vol. 2, 1987. 早期方法 （80-90年代）  Connectionist Approach  Simple Recurrent Network  English-to-Spanish  Spanish-to-English  Feed back outputs to hidden layer M.A. Castaño, and F. Casacuberta. A Connectionist Approach to Machine Translation, 1997. 发展前期  神经语言模型 采用神经网络对语言模型进行建模(Bengio et al, 2003; Mikolov et al, 2010)  连续表示方法 用向量表示词、短语和句子(Grefenstette et al, 2011; Socher et al, 2011, 2012)  连续翻译模型 采用神经网络进行翻译建模(Schwenk et al, 2006; Schwenk et al, 2012) 发展期  Recurrent