基于ransformer的训练模型在英语-土耳其语数据集和中小规模英语-土.docxVIP

基于ransformer的训练模型在英语-土耳其语数据集和中小规模英语-土 摘要：由于神经机器翻译模型具有大规模参数且其性能极大地依赖大规模高质量平行语料，当训练数据规模小于模型复杂度时，模型易出现过拟合问题而泛化能力不足.针对此问题，研究了词级别的正则化技术，通过对模型输入句子中的单词进行随机干扰，以此削弱数据的特异性，从而抑制模型对于数据的过度学习，防止过拟合，提高模型的泛化能力.通过Transformer模型在标准规模中文-英语数据集和中小规模英语-土耳其语数据集上进行的相关实验，结果证明词级别正则化方法能够使模型在收敛后更加稳定，不易出现过拟合的情况，并且翻译质量也得到了明显的提升. 神经机器翻译（neural machine translation,NMT）将机器翻译任务视为一种序列到序列转化问题，其端到端的建模过程在2014年由Sutskever等相比于传统的SMT,NMT是端到端的训练，全局只优化一个目标，并且不需要人工定义特征的过程，对于上下文信息的学习和利用更加充分，深度神经网络对于文本特征强大的学习能力很大程度上得益于网络模型的大规模可学习参数，但正因为其庞大的网络结构带来的拟合能力造成了NMT模型在训练数据规模远小于模型复杂度的场景下，容易出现过拟合的现象，导致模型的泛化能力不足，进而影响其翻译性能为了有效阻止NMT过拟合，提升模型泛化能力，比较简单直接的做法为增加训练数据，但高质量的平行语料的获取费时费力，因此考虑通过数据增强技术来对原始数据进行扩展．这在图像处理领域的应用是比较常见的，但对于文本数据而言，其离散的特性以及句法上的约束，导致文本处理的方式不能直接借鉴诸如图片裁剪、图片旋转等方式，否则句子本身的信息会被破坏，因此，文本数据的增强技术还需要更多地探索和实践由于文本数据离散的特性，每个单词在句子中扮演着不同的语义角色，所以相比于对句子整体进行干扰，对单词进行干扰会更加灵活并且更具针对性；此外，词级别干扰可与采样机制结合，使干扰更具随机性．因此本研究采用词级别正则化（word-level regularization,WR）技术．具体地，通过对NMT模型的编码器和解码器两端的输入句子进行词粒度级别的干扰，减少训练数据的细节，并且削弱监督信号的约束，从而抑制模型对训练数据的过度学习、防止过拟合，并重点研究如何给予输入句子单词合适的干扰．本节介绍WR的整体框架和3种干扰策略．WR的目标是通过干扰策略，对NMT编码端和解码端的输入句子造成干扰，其总体框架如图1所示．其中，X是输入到编码器中的源语言句子的向量表示，Z是输入到解码器的翻译过程中已经生成的目标单词序列的向量表示（在训练阶段作为监督信号，是目标句子y右移一个单词的单词序列），Y是目标句子的向量表示．对于模型的输入句子X=[x其中，B(1,p）为伯努利分布，f大量文献表明在神经网络中加入随机噪声是减轻过拟合、提升泛化能力的有效方法其中：e(x受随机单词替换方法其中：高斯噪声和相似词替换都面临着搜索空间大、干扰不确定性高的问题，因此提出了一种更为软性的干扰策略，即用unk标识对原单词进行掩码：其中，R为替换函数，即将给定单词替换成unk,unk是机器翻译模型用于替换未登录词的特殊符号，使用该符号替换被采样的单词．该方法受到掩码语言模型1.4训练优化目标WR对编码器和解码器的输入进行干扰，减轻过拟合，但由于干扰程度的随机性和不确定性，容易破坏句子的语义信息．为了使模型学习到更好的句子表征，本研究引入生成对抗（GAN）思想，使用一个线性判别器C，对中间状态H(x）进行判别是否被正则化．此处H相当于GAN中的生成器，生成模型输入对应的中间状态，也对应本文中的编码器和解码器．整体框架如图2所示．判别器C的目的是区分被正则化和未被正则化的单词，而生成器H的目的则是制造难以被C区分的中间状态．对抗损失的计算方法如下：其中，θ其中，L2 实验和结果为了验证WR方法的有效性，选择标准的Transformer模型分别在小规模、中小规模和标准规模数据集上进行实验．因为导致过拟合的主要因素是模型复杂度和数据规模，其中模型参数规模在应用词正则化后并无明显差距，所以通过控制数据规模进行方法验证，分别选择小规模、中小规模和标准规模数据集进行实验．不选择大规模数据集，一方面可以更好地观察WR方法对性能的影响；另一方面，大规模数据下模型不易甚至不会出现过拟合问题，这样可以避免失去过拟合问题的研究对象．此外，为了验证WR在更多网络层数和参数的模型上是否有效，本研究设计了12层编码解码结构的Transformer模型实验．2.1 实验数据小规模数据集选自IWSLT14(2014Internati