基于attention机制的神经机器翻译模型的研究与应用.pdf

摘要

随着人工智能技术的不断进步，现有机器模型已经基本达到了感知智能，正

朝着认知智能前进。自然语言处理是智能认知的基础，是学界和工业界的研究热

点。为了满足社会对各种语言的需求以及世界各国日益频繁交流更加的便捷，价

格低廉的机器翻译研究正在逐渐兴盛。随着深度学习技术的持续提高，机器翻译

也逐渐融合了这些方法和策略，并且在多个任务中斩获不错的成绩。但是还存在

一些不足的地方。首先，大多数的翻译模型都基于注意力机制，去解决双语间的

词语对齐问题。然而基于softmax进行归一化计算的注意力，导致无关词之间也有

少量的注意力分布。因此，如何获取更加精准的注意力分布至关重要。其次，大

部分神经翻译模型都是以“编码-解码”结构为基础的。整个模型的翻译都依赖自

回归机制，所以每生成下一个词都是基于已完成的词，导致了模型的解码效率不

高以及不能获取译文的全局消息。最后，词向量是模型获取语义以及语法信息的

根本所在，因而如何获得蕴含更全面语义和语法信息的词向量十分关键。

基于上文所述的问题，本文主要进行如下几个方面的研究：

1、针对翻译中注意力的精准对齐问题，本文采用了稀疏归一化的方法去代替

常用的softmax归一化，并在以Transformer为基础框架的神经机器翻译系统上进

行了试验论证。实验结果表明，通过稀疏预测词中最大权值的相关词，减少无关

词的不必要权值分布，缓解了数据之间归纳偏差问题，增强了翻译系统的准确性

和可解释性。

2、针对Transformer在推理阶段解码时间随译文长度成平方增长的问题，本

文采用了累加方式的平均注意力层去缓解此问题。此外在神经机器翻译模型中，

只可以利用前序生成序列信息的问题，本文融合了推敲神经网络的思想，通过两

次解码获取了相关生成语句的全局信息。实验结果显示，两次解码后翻译的句子

更加连贯且句义更加完整。

3、针对目前大多数模型采用基于单词的嵌入向量表示，提出了多表征融合的

词向量，使用字符级别编码向量和单词级别编码向量直接拼接的方法。多表征融

合的词向量可以有效的解决词表中的未出现词以及一些低频词，可以表达更加完

整词义信息，直接影响整个翻译模型性能。通过实验结果可以看出，我们提出的

融合方法和策略，有效的提升整体翻译模型的翻译效果与质量。

关键词：神经机器翻译，注意力机制，深度学习，自然语言处理，稀疏归一化

ABSTRACT

Withthecontinuousadvancementofartificialintelligencetechnology,existing

machinemodelshavebasicallyreachedperceptualintelligenceandaremovingtowards

cognitiveintelligence.Naturallanguageprocessingisthefoundationofintelligent

cognitionandaresearchhotspotintheacademicandindustrialcircles.Inordertomeet

thesocietysneedsforvariouslanguagesandtomakeitmoreconvenientforcountries

aroundtheworldtocommunicatewitheachothermoreandmorefrequently,low-cost

machinetranslationresearchisgraduallyflourishing.Withthecontinuousimprovement

ofdeeplearningtechnology,machinetranslationhasgraduallyintegratedthesemethods

andstrategies,andachievedgoodresultsinmultipletasks.Buttherearestillsome

shortcomin