基于生成对抗和图注意力的异质信息网络节点表示学习研究.pdfVIP

摘要

基于生成对抗和图注意力的异质信息网络节点表示学习研究

以社交网络为代表的大规模信息网络层出不穷，如何充分利用这些信息挖掘出适应

于各种任务的通用表示显得尤为重要。现实生活中的大规模信息网络往往包含许多复杂

的交互关系和语义信息，且具有多源异质性，这给传统的网络表示学习(Network

RepresentationLearning)方法带来了挑战。深度学习的出现给网络表示学习开辟了新道

路，极大的促进了网络节点表示学习研究的发展。

本文基于图注意力机制和生成对抗思想，针对当前面临的节点表示能力不足的问题，

在异质信息网络和超图网络上展开研究。具体研究内容包括：(1)提出基于对抗图自动编

码器的异质网络节点表示学习算法(AdversarialVariationalGraphAutoencoder，AGVAE)，

使用对抗图自动编码器捕捉网络的全局结构，生成节点的低维稠密表示向量。其中，编

码器部分采用双层图卷积网络实现，通过卷积的方式聚合节点的邻域特征，并作为解码

器的输入重构网络。同时加入变分推理过程，对隐层向量加以约束。其次引入对抗性训

练，生成模型部分与编码器共享同一个网络。鉴别模型可以看作是一个二分类任务，主

要是将生成模型生成的假样本与从真实数据集采样得到的真样本进行鉴别，并根据鉴别

结果反向更新生成模型的参数，从而实现模型的优化。最后，在联合优化阶段，增加了

正则化约束，通过惩罚系数加大对不良结果的惩罚，以此达到优化的目的。(2)提出融合

外部信息的异质超图网络节点表示学习算法(HypergraphAttentionAutoencoder，

HATAE)，该方法是在上面研究方法的基础上，进一步挖掘异质信息网络中的多元关联

关系，着眼于更高阶的拓扑结构信息和低阶近邻度信息，通过模体抽取的方式匹配异质

信息网络中的多元关联关系模式，进而抽取成异质信息网络子图，并命名为异质超图网

络。主要是基于自编码器提出超图注意力机制将异质超图网络中节点信息和属性信息进

行统一编码，经过解码器重构超边关联矩阵，保留节点的全局属性信息。同时加入节点

近邻度函数，判断不同类型的节点是否属于同一个超边，保留其一阶近邻性。并将学习

到的节点表示用于下游链接预测任务，通过实际的挖掘任务评判表示结果的鲁棒性。

在一个同质网络数据集Cora和三个原始异质网络GPS、MovieLens和Drug数据集

进行实验。对于超图网络节点表示学习采用的数据集是抽取后的异质超图网络子图，并

完成了与经典表示学习方法的对比实验。通过实验验证了AGVAE和HATAE算法在链

接预测任务上均优于传统方法，充分验证了本文所提出的算法的有效性。

关键词：

异质信息网络，生成对抗网络，注意力机制，网络表示，异质超图

Abstract

NodeRepresentationLearninginHeterogeneousInformationNetworks

BasedonGenerativeAdversarialandGraphAttention

Asthelarge-scaleinformationnetworkrepresentedbysocialnetworkemergesinan

endlessstream.Howtomakefulluseofthisinformationtomineacommonrepresentation

suitableforvarioustasksisparticularlyimportant.Infact,large-scaleinformationnetworks

oftencontainalotofcomplexinteractionandsemanticinformation,andhavemulti-source

heterogeneity.Thisbringsachallengetothetraditionalnetworkrepresentationlearning

meth