基于深度神经网络的机器翻译方法研究.pdfVIP

摘要

近年来越来越多的国家积极参与全球化合作，在这个互联互通的背景下，基于

深度神经网络的机器翻译模型在各个国家之间的语言交流以及文本翻译方面起着

十分重要的作用。互联网的快速发展，积累了不少的平行语料数据，这为神经机器

翻译的发展提供了更多的可能。编码器-解码器是目前神经机器翻译最常用的框架，

编码器接收源句子序列并将源句子序列信息映射到一个语义空间，解码器接收处

理语义空间中的信息，计算出当前时刻的概率分布，根据解码算法逐步输出目标序

列。在这一框架下，涌现出了一大批翻译模型，它们都有自己的优缺点。本文在两

个模型的基础上进行了创新和改动，使之提升翻译系统的性能，主要工作如下：

（1）一般基于RNN的编码器-解码器模型存在不能较好地挖掘句子语义以及

翻译长文本序列等问题，本文提出了基于LSTM增强注意力的神经机器翻译模型，

在RNN基线模型上引入了多头注意力和多跳注意力机制。通过增加多头注意力计

算，可以挖掘不同子空间的语法信息，进而关注到句子序列中的语义信息，然后分

别在每个头上计算多次注意力，这样能够有效处理长距离依赖问题并且在长句子

翻译方面表现较好。

（2）虽然Transformer模型可以并行处理数据，加快了模型的计算效率，但是

它的局部表征能力差。在Transformer模型基础上，本文提出了ELMo表征融合动

态掩码注意力的神经机器翻译模型。在词向量嵌入模块使用ELMo模型获得单词

的动态词向量表示，以获取丰富的单词表征并且能够很好地处理一词多义问题。在

多头注意力模块混合多头注意力计算，将多个头部的注意力通过一个线性变换，充

分考虑到各个头部的注意力信息，进而提升自我注意力的表达能力。在编码器端，

加入一个动态掩码注意力层，重点关注当前单词周围的重要信息，摒弃不重要信息，

进而提升模型的局部建模能力。这些做法使得模型能够充分获取局部信息以及句

子语义信息，翻译出更符合人类自然语言的句子。

关键词：深度神经网络，神经机器翻译，增强注意力机制，动态掩码注意力

ABSTRACT

Inrecentyears,moreandmorecountrieshaveactivelyparticipatedinglobal

cooperation.Inthiscontextofinterconnection,machinetranslationmodelsbasedondeep

neuralnetworksplayaveryimportantroleinlanguageexchangesandtexttranslation

betweencountries.TherapiddevelopmentoftheInternethasaccumulatedalotofparallel

corpusdata,whichprovidesmorepossibilitiesforthedevelopmentofneuralmachine

translation.Theencoder-decoderiscurrentlythemostcommonlyusedframeworkfor

neuralmachinetranslation.Theencoderreceivesthesourcesentencesequenceandmaps

thesourcesentencesequenceinformationtoasemanticspace.Thedecoderreceivesand

processestheinformationinthesemanticspaceandcalculatestheprobabilitydistribution

atthecurrentmoment,andoutputthetargetsequencestepbystepaccordingtothe

encodingalgorithm.Underthisframework,alargenumberoftranslationmodelshave

emerged,all