基于神经网络的跨语言语义相似度计算中多语言编码与对齐机制研究综述.docVIP

基于神经网络的跨语言语义相似度计算中多语言编码与对齐机制研究综述

跨语言语义相似度计算（Cross-LingualSemanticSimilarity,CLSS）旨在衡量不同语言中两段文本的语义等价程度，是机器翻译、跨语言信息检索、多语言问答等自然语言处理任务的核心支撑技术。近年来，神经网络模型的快速发展突破了传统统计方法对平行语料的强依赖，多语言编码与对齐机制作为该领域的核心研究方向，其技术路径的演化直接推动了跨语言语义表示性能的阶跃式提升。

多语言预训练编码范式的演化

早期的跨语言编码模型多采用独立编码架构，即分别为不同语言训练独立的词向量空间，再通过线性变换将不同空间映射到统一的语义空间。2013年Mikolov提出的跨语言词向量模型首次实现了无监督场景下的语言间映射，通过双语词典诱导的方式，仅利用少量词级平行数据即可让不同语言的语义向量在共享空间中具备可比性。但这类模型仅能捕获词级语义信息，无法处理一词多义、短语级语义组合等复杂场景，在长文本相似度计算任务上的F1值通常低于60%。

2018年诞生的多语言预训练语言模型（MultilingualPre-trainedLanguageModels,mPLMs）彻底重构了跨语言编码的技术范式。其中代表性的mBERT模型采用与单语言BERT完全一致的Transformer架构，在104种语言的维基百科语料上进行掩码语