基于GraphSAGE模型的词义消歧研究.pdfVIP

基于GraphSAGE模型的词义消歧研究

摘要

在数字化时代的背景下，随着大数据和互联网的蓬勃发展，庞大的自然语言

数据承载着巨大的信息，然而，其中存在着严重的语义歧义问题。词义消歧作为

解决语言多义性的关键技术，能够有效提升计算机系统对自然语言的理解与应用

能力。在机器翻译、文本分类、信息检索等领域，词义消歧的应用正日益广泛，

并被视为自然语言处理领域亟待解决的重要课题之一。本文为解决词义消歧中的

特征选择与提取、上下文信息不足、语义关系欠缺等问题，提出了一种基于

GraphSAGE(GraphSampleandAggregate)模型的消歧方法。本文的主要研究内容如

下：

（1）针对特征选择和提取问题，本文提出基于图采样聚合的词义消歧模型。

本文选取歧义词上下文中邻接词汇单元的词形、词性、语义类等作为消歧特征，

并将这些特征构建成消歧特征图，然后利用GraphSAGE模型在图上进行采样聚合，

以更新目标特征序列节点的特征表示，从而确定歧义词的正确语义。另外，分别

使用不同的模型参数比较每种GraphSAGE模型的消歧性能。

（2）针对上下文信息不足问题，本文在基于图采样聚合消歧模型的基础上，

提出结合循环神经网络的图采样聚合词义消歧模型。本文对GraphSAGE与不同循

环神经网络的多种结合方式进行了探讨，比较不同结合模型的消歧性能。实验结

果表明，GraphSAGE与双向长短期记忆神经网络特征融合模型要优于其它模型。

（3）针对语义关系欠缺问题，本文在结合循环神经网络的图采样聚合词义消

歧模型基础上，提出基于多特征融合的词义消歧模型。本文分别研究了基于

GraphSAGE和基于双向长短期记忆网络的多特征融合词义消歧模型，为了进一步

研究不同特征序列之间的关系，在GraphSAGE与双向长短期记忆网络融合消歧模

型中引入多特征交叉注意力机制。实验结果表明，多特征交叉注意力融合方式能

够有效提升模型的消歧效果。

关键词词义消歧；GraphSAGE模型；Bi-LSTM模型；交叉注意力；多特征融合

-I-

ResearchonWordSenseDisambiguationBasedon

GraphSAGEModel

Abstract

Indigitalage,withtheboomingdevelopmentofbigdataandtheinternet,alarge

amountofnaturallanguagedatacontainsalotofinformation.However,theysuffer

fromsignificantsemanticambiguity.Wordsensedisambiguation(WSD),whichiskey

technologytosolvelinguisticpolysemy,effectivelyenhancescomputersystems’

comprehensionandapplicationcapabilitiesofnaturallanguage.Itiswidelyappliedin

fieldsincludingmachinetranslation,textclassification,andinformationretrievalnow.It

isconsideredasoneofimportantchallengesinnaturallanguageprocessing.Thisthesis

proposesanovelapproachbasedonGraphSAGE(GraphSampleandAggregate)model

fortacklingissuesinWSDsuchasfeatureselectionandextraction,insuff