基于注意力聚合的图表示学习研究综述.docVIP

基于注意力聚合的图表示学习研究综述

一、图表示学习的基础演进与注意力机制的引入

图结构作为现实世界中关系数据的核心载体，广泛存在于社交网络、分子化学、知识图谱、推荐系统等多个领域。早期图表示学习研究以传统图嵌入方法为核心，通过矩阵分解、随机游走等策略将高维图节点映射到低维向量空间，典型方法如DeepWalk采用截断随机游走生成节点序列，结合Skip-gram模型学习节点嵌入，Node2Vec通过调整游走策略平衡广度优先与深度优先搜索，提升了嵌入的鲁棒性。但这类方法存在固有缺陷：无法有效利用节点属性信息，难以处理动态图与异构图场景，且模型泛化能力弱，每新增节点需要重新训练。

2017年图卷积网络（GCN）的提出开启了深度学习时代的图表示学习范式，通过定义图上的卷积操作，实现了节点特征与拓扑结构的端到端融合学习。GCN基于一阶切比雪夫近似简化图卷积运算，在半监督节点分类任务上取得了远超传统方法的效果，但仍存在两个关键局限：一是对所有邻域节点采用平均聚合策略，默认邻域节点对中心节点的重要性相同，无法体现现实关系中的权重差异；二是受制于拉普拉斯矩阵的计算，难以扩展到大规模图场景，且处理异构图时性能下降明显。

注意力机制在自然语言处理领域的成功应用为解决上述问题提供了新思路，Transformer模型中自注意力机制能够自动计算序列中不同位置的权重分配，实现了对长距离依赖的有效建模。2018年