掩码语言增强表示的对比学习微调和应用.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2024，60（17）129

掩码语言增强表示的对比学习微调和应用

张德驰，万卫兵

上海工程技术大学，电子电气工程学院，上海200000

摘要：在基于Transformer的语言模型中自注意力网络扮演了重要的角色，其中的全连接结构能够以并行方式捕捉

序列中非连续的依赖关系。但是，全连接的自注意力网络很容易过拟合到虚假关联信息上，比如词与词、词与预测

目标之间的虚假关联。这种过拟合问题限制了语言模型对领域外或分布外数据的泛化能力。为了提高Transformer

语言模型对虚假关联的鲁棒性以及泛化能力，提出掩码语言增强表示的对比学习微调框架（fine-tuningframework

viamasklanguagemodelenhancedrepresentationsbasedcontrastivelearning，MCL-FT）。具体而言，文本序列和

其随机掩码后的序列送入到一个孪生网络，结合对比学习目标和下游任务目标对模型进行参数学习。其中，每一个

孪生网络由预训练语言模型和任务分类器组成。所以，该微调框架更加符合掩码语言模型预训练学习方式，能够在

下游任务中保持预训练知识的泛化能力。在MNLI、FEVER和QQP数据集以及它们的挑战数据集上与最新的基线

模型进行了对比，包括大语言模型ChatGPT、GPT4、LLaMA，实验结果验证了提出模型在保证分布内性能的同时

有效提高了分布外的性能。在ATIS和Snips数据集上的实验结果证明，该模型在常见自然语言处理任务中也有显

著的效果。

关键词：Transformer；掩码语言模型；对比学习；微调；虚假关联；泛化能力

文献标志码：A中图分类号：TP18doi：10.3778/j.issn.1002-8331.2306-0190

Fine-TuningviaMaskLanguageModelEnhancedRepresentationsBasedContrastiveLearning

andApplication

ZHANGDechi,WANWeibing

SchoolofElectricalandElectronicEngineering,ShanghaiUniversityofEngineeringScience,Shanghai200000,China

Abstract：AutoattentionnetworksplayanimportantroleinalanguagemodelbasedonTransformer,whereafullycon-

nectedstructurecancapturenon-continuousdependenciesinasequenceinparallel.However,thefullyconnectedself-

attentionnetworkiseasytooverfittofalseassociationinformation,suchasfalseassociationbetweenwordsandwords,

andbetweenwordsandthepredictedtarget.Thisoverfittingproblemlimitstheabilityoflanguagemodelstogeneralize

dataoutsidethedomainorthedistribution.ToimprovetherobustnessandgeneralizationabilityoftheTransformerlan-

guagemodelagainstfalseassociations,fine-tuningframeworkviamasklanguagemodelenhancedrepresentationsbased

contrastivelearningisproposedinthispaper.Specifically,thetextsequ