基于神经网络的跨语言语义相似度计算中多语言编码与对齐机制研究综述.docVIP

基于神经网络的跨语言语义相似度计算中多语言编码与对齐机制研究综述

跨语言语义相似度计算（Cross-LingualSemanticSimilarity,CLSS）旨在判断不同语言文本对在语义层面的等价程度，是机器翻译、跨语言信息检索、多语言问答等自然语言处理任务的核心支撑技术。早期CLSS方法依赖平行语料构建词典或统计特征，受限于低资源语言覆盖不足、语义表征泛化能力弱等问题。随着预训练语言模型的兴起，多语言编码与对齐机制成为突破性能瓶颈的核心路径，相关研究在近五年呈现爆发式增长，形成了多语言预训练编码、跨语言语义对齐、下游任务适配三大研究分支。

一、多语言预训练编码的基础架构演进

多语言编码的核心目标是构建不同语言文本的统一语义表示空间，其发展历程可分为三个阶段：单语预训练迁移阶段、多语言联合预训练阶段、轻量化低资源适配阶段。

单语预训练迁移阶段的思路是借助高资源语言的预训练模型，通过参数迁移适配其他语言。典型代表是2018年提出的mUSE（MultilingualUniversalSentenceEncoder），该模型在16种语言的平行语料上训练，采用共享Transformer编码器，通过翻译对排序损失约束不同语言的语义表示距离。但这类方法依赖大规模平行语料，对于资源匮乏的小语种，编码性能会出现明显下降，在斯瓦希里语、豪萨语等低资源语言的相似度任务上，F1值较英语低