基于对比学习的多语言预训练模型跨语言迁移能力研究综述.docVIP

基于对比学习的多语言预训练模型跨语言迁移能力研究综述

一、多语言预训练模型与对比学习的技术融合背景

随着全球化信息交互需求的激增，自然语言处理（NLP）领域对跨语言技术的需求持续攀升。传统跨语言模型依赖大规模平行语料训练，不仅数据获取成本极高，且在低资源语言上的表现始终存在明显瓶颈。2018年以来，以BERT为代表的单语言预训练模型通过自监督学习在多项NLP任务上取得突破性进展，研究者随即尝试将预训练范式扩展至多语言场景，先后推出mBERT、XLM-R等多语言预训练模型（MultilingualPre-trainedModels,mPLMs），这类模型通过在超过100种语言的大规模单语语料上联合训练，能够在不依赖平行语料的前提下实现一定程度的跨语言知识迁移。

然而早期mPLMs的跨语言迁移能力仍存在显著局限性：高资源语言与低资源语言的性能差距可达30%以上，语义表示在跨语言空间中存在明显的分布偏移，相似语义的不同语言句子向量距离甚至远大于同语言内语义差异较大的句子距离。这一问题的核心在于传统预训练的掩码语言建模（MLM）目标仅能学习单语言上下文的语义关联，缺乏显式的跨语言语义对齐约束。对比学习作为自监督学习的重要分支，其核心思想是通过构造正例对与负例对，最大化正例间的语义相似度、最小化负例间的相似度，恰好能够为多语言语义空间的统一对齐提供有效训练信号，二者的融合由此成为近五年