基于对偶词向量的无监督双语词典抽取.pdfVIP

哈尔滨工业大学硕士学位论文

摘要

双语词典是机器翻译技术中的一个基础资源，其中记录着两种不同语言之

间互为翻译的词语对。无监督的双语词典抽取，其目的是在没有任何双语平行

资源的情况下，只使用不同语言的单语语料获取双语词典和跨语言的词表示。

这为解决一些自然语言处理方法在低资源语言上效果不佳的问题提供了非常

重要的基础，也为实现跨语言自然语言处理提供了一条有效的途径。词向量模

型会同时输出两个对偶的词向量。然而，目前的无监督双语词典抽取方法都只

使用了其中的输入向量，却完全忽视了输出向量。针对于此，本文提出了一种基

于对偶词向量的无监督双语词典抽取方法，然后提出了一种将其与预训练语言

模型相结合的方法，最后还探索了大语言模型在无监督双语词典抽取的应用。

本文提出了对偶词向量在跨语言情况下的等差异性，其反映了两种语言对

应的输入向量和输出向量可以通过同样的一个正交变换连接起来。基于此，本

文提出了一种充分利用等差异性的无监督双语词典抽取模型。模型通过同一个

正交变换获得对偶词向量分别对应的两个跨语言空间，然后在两个跨语言空间

中检索具有一致性的词典，这使得模型的自学习迭代过程更容易收敛。实验证

明，基于对偶词向量的无监督双语词典抽取模型在远距离语言对上比现有最先

进的方法更加有效，同时也能保证在近距离语言对上可比的性能。

本文还提出了一种利用交叉编码器结合对偶词向量与预训练语言模型的

方法。交叉编码器的训练数据来自基于对偶词向量的模型给出的跨语言词向量

及其对应的相似度分数，该方法在检索过程中使用基于对偶词向量的模型先进

行检索，然后利用其和交叉编码器分别给出的相似度分数对检索结果进行重新

排序。实验证明，对偶词向量和预训练语言模型中蕴含的信息是互补的，基于对

偶词向量的模型为微调和结合预训练语言模型提供了更好的基础。另外，本文还

通过挖掘大语言模型的跨语言信息作为上下文示例进行无监督双语词典抽取。

示例集合来自于正向和反向翻译一致的翻译对，这种方法在一些语言对上的性

能甚至超过了有监督的方法。

关键词：无监督双语词典抽取；对偶词向量；交叉编码器；大语言模型

-I-

哈尔滨工业大学硕士学位论文

Abstract

Bilinguallexiconisafundamentalresourceinmachinetranslationtechnology,which

recordswordpairsthataretranslatedintoeachotherbetweentwodifferentlanguages.

Unsupervisedbilinguallexiconinductionaimsatobtainingbilinguallexiconsandcross-

lingualwordrepresentationsusingonlymonolingualcorpusofdifferentlanguageswith-

outanybilingualparallelresources.Thisprovidesaveryimportantbasisforsolvingthe

problemthatsomenaturallanguageprocessingmethodsdonotworkwellonlow-resource

languages,andalsoprovidesaneffectivewaytoachievecross-lingualnaturallanguage

processing.Thewordembeddingmodeloutputstwodualwordembeddingsatthesame

time.However,allthecurrentunsupervisedbilinguallexiconinductionmethodsonlyuse

theinputvectorofthem,withignoringtheoutput