GMLM：连接图神经网络和语言模型以实现异质节点分类-计算机科学-预训练语言模型-图神经网络.pdf

GMLM：连接图神经网络和语言模型以实现异质节点分类

AarushSinha

IndependentResearcher

aarush.sinha@

摘要的预训练语言模型（PLMs），已经革命性地改

变了我们从文本中捕获上下文信息的能力，但

将强大的但计算成本高昂的预训练语言模

本型（PLMs）与图神经网络（GNNs）结合是关它们与图学习的有效且可扩展的集成仍然是一

译键挑战，尤其是在富含文本的异质性图上。个活跃的研究领域。这个挑战在异质图中尤为

中我们提出了图掩码语言模型（GMLM），这明显，在这种图中，相连的节点可能表现出不

是一种旨在高效且有效地融合图形结构和同的特征和标签，需要对结构和语义都有细腻

5

v文本语义的框架。的理解。

3GMLM采用两阶段过程：首先，使用一种虽然像图注意力网络（GATs）(Velikovi

6

7新颖的软掩码技术进行对比预训练阶段构etal.,2018)这样的架构为邻域聚合提供了可学

5

0建一个稳健的多尺度GNN；其次，通过端习的注意力机制，而关系图卷积网络（RGCNs）

.

3到端微调阶段利用动态活跃节点选择策略(Schlichtkrulletal.,2017)可以处理有类型的边，

0实现可扩展性，并使用双向交叉注意力模

5但它们在没有与预训练语言模型（PLMs）进

2块进行深度融合。

:行显式集成的情况下，并不会对节点相关的文

v在五个异质性基准上的实验表明，GMLM

i本执行深层次的语义推理。同时，掩码建模技

x在其中四个上实现了最先进的结果，显著

r术作为PLMs成功的关键，已被证明对于学习

a优于先前的GNN和大型LLM方法。例

上下文表示非常有效。这促使我们提出一个问

如，在Texas数据集上的准确率提高了超过

8%，而在Wisconsin数据集上则接近5%。题：如何开发一个深度整合框架，结合图神经

网络和PLM风格的掩码建模的优势，以增强

我们的工作证明了复杂且深度集成的架构

对于富含文本的图表示学习比更大、通用富含文本的图形上的表示学习，同时解决计算

性的模型更为有效和高效。可扩展性问题？

传统的节点特征掩码在GNNs(Mishraetal.,

1介绍

2021)中通常涉及随机特征扰动或完全移除，这

图神经网络（GNNs）(Scarselli