时序网络的节点动态表征与学习研究.pdfVIP

摘要

摘要

时序网络是一种特殊类型的网络，其中节点和边都可以随时间变化，这种网

络广泛存在于自然界和人类社会中。时序网络表征旨在有效挖掘图中的拓扑信息

和时序信息，对于预测系统未来的行为以及指导实际应用具有重要的实践意义。

但由于其网络的时间演化特性，为目前研究带来了如下挑战：（1）预测准确性和

泛化能力：在面对不断变化的网络结构和复杂的时空依赖关系时，如何设计具有

高预测准确性和良好泛化能力的时序网络模型是一个重大挑战。（2）长期依赖问

题：由于以往模型的训练特点，对于时序网络的长时间历史记忆容易产生遗忘，无

法更好地学习到网络的时序演化模式。（3）动态性和复杂性：网络的动态变化增

加了模型设计的复杂性，需要动态地建模时间维度上的依赖关系，这对现有的算

法提出了更高的要求。

针对时序网络的节点动态表征泛化能力不强的问题，提出了DyCL算法，通

过数据增强和时间编码，利用多头注意力机制学习网络表征，通过对比学习，提

高表征鲁棒性，得到泛化能力更强的节点表征。基于5个真实世界数据集的实验

表明，基于节点丢弃的DyCL方法对比基线算法，最高提升28%；基于边扰动的

DyCL方法对比基线算法，最高提升6%。

针对时序网络长期依赖问题，提出了一个基于Transformer的时序网络异常检

测算法AnoFormer，该模型基于异常模式进行充分采样，在自注意力层更有效地

捕捉序列中任意两点之间的依赖关系，不论这两点间隔多远，对网络的长期演化

模式进行捕获，解决时序网络长期依赖问题。在节点分类任务上，基于5个真实

世界数据集的实验表明，Anoformer算法对比基线算法，最高提升23%。

针对原始的transformer模型难以捕获动态图复杂的拓扑结构以及不规则的时

序信息的问题，本文提出了一个基于Transformer的时序网络对比算法Difformer。

通过采样子图并学习时序网络中的动态依赖交互，从而学习链路的嵌入表示。另

外本文提出的交叉自注意力思想，能够捕获节点交互信息，使得模型在对链路异

常的预测上具有更高的准确性。在链路预测任务上，基于5个真实世界数据集的

实验表明，Difformer算法对比基线算法，MR值最多减少了125。

关键词：时序网络，Transformer，对比学习，自注意力机制，异常检测

I

ABSTRACT

ABSTRACT

Sequentialnetworksareaspecialtypeofnetworkinwhichnodesandedgescan

changeovertime.Thiskindofnetworkwidelyexistsinnatureandhumansociety.Se-

quentialnetworkrepresentationaimstoeffectivelyminetopologicalinformationandtem-

poralinformationingraphs,whichhasimportantpracticalsignificanceforpredictingthe

futurebehaviorofthesystemandguidingpracticalapplications.However,duetothe

timeevolutioncharacteristicsofitsnetwork,itbringsthefollowingchallengestocurrent

research:(1)Predictionaccuracyandgeneralizationability:Howtodesignadesignwith

highpredictionaccuracyinthefaceofchangingnetworkstructuresandcomplexspa-

tiotemporaldependencies.Accuracyandgoodgeneralizationabilityoftemporalnetwork

modelsarea