基于多任务学习的跨语言句子嵌入研究.pdf

基于多任务学习的跨语言句子嵌入研究

摘要

跨语言句子嵌入学习的目标是将句子映射到一个共享表示空间中，使得语义相近的

句子表征更接近，而对于语义不同的句子表征要有明显区分度。目前，跨语言句子嵌入

研究有多种方法：其一，使用线性变换方法，通常该方法会选择一种语言嵌入空间作为

基准，然后将其他语言嵌入空间通过正交变换方法转换到该基准语言表示嵌入空间中，

以此来实现跨语言句子在词义和语义上的对齐。但是这种方法实现跨语言句子嵌入学习

的扩展性不好且严重依赖于语料资源；其二，使用预训练语言模型BERT对句子编码表

示，但研究表明这种方法得到的句子向量空间存在各向异性问题，即学习到的词嵌入在

向量空间中呈现一个锥形空间，这样引起表示退化问题。因为高频词会在锥形空间下方，

分布较为密集且整体更靠近原点，而低频词分布在锥形空间上方分布较为稀疏且整体分

布距离原点更远。由此受语料中词频和各向异性两大因素影响导致表示上下文句向量语

义不准确问题。

鉴于上述问题，本文在已有预训练语言模型基础上，使用语言无关的句子编码器

LaBSE对句子进行编码，结合泛化性更好的多任务学习方法，提出了两种句子表示模型

——MT-LaBSE和M