高推理效率神经机器翻译模型研究.pdfVIP

摘要

摘要

作为自然语言处理研究中的一个重要研究领域，机器翻译旨在尽可能保持语

义不变的情况下，将源语言语句通过模型自动转换为目标语言语句。近年来，基于

Transformer的神经机器翻译在机器翻译任务上取得了巨大的成功，但Transformer

自注意力有着较高的计算复杂度，且其自回归解码方式使得当输入语句较长时，

有着解码慢、延迟高的缺点。对此，本文从模型本身和解码方式提出了相应的优

化算法，以同时兼顾较高的翻译质量和较快的翻译速度。

1.基于无注意力Transformer（Attention-FreeTransformer，AFT）的改进类自注

意力。为了解决Transformer计算复杂度高的问题，相关研究提出了修改

Transformer的自注意力等组件，通过修改Transformer结构本身来降低模型

推理时所需要的计算资源，并取得了一定成果，但计算复杂度仍为二次。

针对这一问题，通过研究各类Transformer变体，并在LinearTransformer和

AFT的基础上，融合二者的优点改进了AFT的位置编码，使得类自注意力

的计算能够以递归形式进行，实现了线性复杂度的类自注意力机制；并改进

了模型的解码方式，能够复用之前时间步的计算结果，在一定程度上缓解了

Transformer较高的计算资源需求，从而降低了语句从输入到生成翻译结果的

延时。实验表明，提出的算法对翻译效率有着提升，在输入序列长度为128

时，达到了可观的约15%的速度提升；在WMT14英德双语语料库的测试

中，以0.59BLEU分数的代价换得了约14%的速度提升。

2.基于雅可比迭代的N-Gram推测解码。相关研究提出了基于非自回归解码的

机器翻译模型，但由于非自回归模型在解码时无法利用目标单词之间的上下

文信息，其翻译质量相比于自回归模型存在较大程度的下滑。针对这一问题，

通过研究自回归和非自回归翻译模型的解码方式，受非自回归模型作为草稿

模型的启发，在现有的并行雅可比解码的基础上，通过添加N-Gram回溯机

制，实现了一种无需另外训练草稿模型的无损加速模型解码的方法，相比并

行雅可比解码能够在单个解码步骤中解码出更多的token同时降低了对并行

计算资源的要求，并能够保证解码结果与自回归解码一致。实验表明，算法

相比Transformer在单次解码步骤中多生成0.09个token，实际时间减少了约

6%，有效提高了猜测词语的接受率，从而提高了翻译的速度。

关键词：深度学习，自然语言处理，自注意力，神经机器翻译，自回归解码

I

ABSTRACT

ABSTRACT

Asanimportantresearchareainthefieldofnaturallanguageprocessing,machine

translationaimstoautomaticallyconvertsourcelanguagesentencesintotargetlanguage

sentenceswiththegoalofpreservingsemanticintegrityasmuchaspossible.Inrecent

years,neuralmachinetranslationbasedontheTransformerarchitecturehasachievedsig-

nificantsuccessinmachinetranslationtasks.However,theself-attentionmechanismof

theTransformerischaracterizedbyhighcomputationalcomplexity,anditsautoregressive

decodingmethodleadstosl