基于图神经网的引文.pdfVIP

摘要

图神经网络处理图数据时效果显著，节点分类和链路预测是图神经网络学习

算法的两个基本问题。研究引文网络的主题分类和链接关系能够较好地统计特定

领域中已有的科研成果，从而对未来研究方向进行预测。本文针对引文的主题分类

和链接关系预测提出了两种无监督学习算法，另外针对现实场景中常出现的引文

类别不平衡问题，提出一种过采样模型来进行引文主题分类，主要研究内容包括：

（1）提出了集成图掩码自编码器模型（EGMAE）。首先从图掩码自编码器出发，

由于该模型使用了数据掩蔽，编码器仅处理未被掩蔽的节点，这样可以使用较少的

计算来训练一个较大的编码器。因此本文通过集成GCN、GAT以及GraphSAGE

三个图神经网络作为编码器来提高特征提取的能力。同时，通过自适应权重来

W

分别计算三个图神经网络的权重，以得到最佳性能。在实验时使用了较高比例的掩

码（50%），这样做可以减少冗余信息，训练出泛化能力强的模型。本文在Cora数

据集上与SOTA的GMAE进行了对比，准确率指标提升了1.7%。

（2）提出了随机游走-Transformer图自编码器（RWR-TGAE）模型。随机游走

正则化方法能够借助随机游走获得节点的局部上下文信息，然后利用跳跃词模型

来最大化节点表示与上下文表示之间的关系。受到跳跃词模型在自然语言处理领

域得到广泛应用的启发，本文使用了该领域中的Transformer作为编码器和解码器。

该结构可以使用不同深度的模型应对不同大小的数据集，同时注意力机制可以进

一步提高图数据特征的提取能力和表达能力。经过实验验证，RWR-TGAE的平均

精确率指标比SOTA的RWR-GAE在CiteSeer数据集上提升了1.9%。

（3）提出了Graph-kSMOTE模型。过采样算法SMOTE能够通过线性插值在

两个少数类样本之间合成新样本，从而有效缓解随机过采样导致的过拟合问题，但

是该方法存在合成样本极有可能落入多数类区域成为噪声的问题。受到k-means-

SMOTE算法的启发，本文在SMOTE算法插值之前通过k-means算法聚类，选择

那些具有较高少数类样本比例的簇进行过采样，从而有效减少了产生噪声样本的

风险。本文在实验中对Cora、CiteSeer、PubMed数据集进行扰动将这些数据集处

理成类别不平衡的数据进行过采样实验。最后，通过实验验证了各个不平衡类别样

本场景下Graph-kSMOTE的有效性。相比SOTA的GraphSMOTE模型，其准确率

指标在CiteSeer数据集上提升了2.7%。

关键词：图神经网络，引文网络，节点分类，链路预测，过采样

ABSTRACT

Graphneuralnetworks(GNNs)haveshownremarkableeffectivenessinhandling

graphdata,withnodeclassificationandlinkpredictionbeingtwofundamentaltasksin

GNNlearningalgorithms.Studyingthetopicclassificationandcitationlinkrelationships

incitationnetworkscaneffectivelysummarizeexistingresearchachievementsinspecific

fieldsandpredictfutureresearchdirections.Thisthesisdesignstwounsupervised

learningalgorithmsfortopicclassificationandcitationlinkprediction,respectively,and

proposesanoversamplingmodeltoaddressthecommonissueofclassimbala