基于图注意力网络和时间卷积络的多模态异常检测方法研究.pdf

基于图注意力网络和时间卷积生成对抗网络的多模态异常检测方法研究

摘要

随着我国工业快速发展，工业生产逐渐趋向智能化。在复杂的工业场景中，智能传

感器也更加得普及，越来越多可靠的时间序列数据可以被收集，这些时间序列数据通常

具有多模态的特征，并且每个模态都蕴含着重要的设备信息。因此，针对这多模态时序

数据提出合理的异常检测方法是必要的。工厂场景下，多模态时序数据的复杂程度大大

增加了异常检测的难度。而现有的深度学习方法在面临多模态工业时序数据时面临着以

下问题：（1）随着数据维度和模态的增加，对各个模态之间相关信息没有充分地考虑，

这些信息通常是多模态异常检测所需要的关键信息。（2）现有的深度学习方法更多地依

赖数据集的标签，而工业场景下的多模态数据通常是不具有标签的。（3）工业大数据的

采样频率非常高，现有的深度学习方法无法有效地保留更长时间的时序信息。

针对现有的深度异常检测方法没有充分考虑多模态数据中各个模态之间相关信

息的问题，本文提出了一个基于图注意力网络的多模态异常检测模型GAT-MAD。G

AT-MAD模型采用图注意力网络捕捉各个模态之间的空间依赖关系。具体来说，GA

T-MAD模型包括三个多头注意力模块，第一个模块捕捉了所有传感器之间的相关性，

后两个模块分别捕捉了相同模态间不同时间序列之间的相关性和所有不同模态的时

间序列之间的相关性。并且本文引入了时间嵌入向量对每个传感器进行建模以更好地

确定模态之间的相关性。最后在4个多模态数据集上进行了对比实验，结果表明，G

AT-MAD模型较其他基线模型具有优势之处，并且通过消融实验证明了GAT-MAD模

型的各个模块的重要性。

针对多模态数据不具有标签且采样频率非常高的问题，本文提出了一个基于时间

卷积生成对抗网络的多模态异常检测模型GATCN-MAD。该模型保留了生成对抗网

络中的对抗训练结构，将其中的生成器和判别器替换为了时间卷积网络，这样在保证

无监督训练的前提，还能使用时间卷积网络捕捉到更长的时间序列信息。并且在异常

推理阶段，本文提出了一种生成器-判别器联合异常评分，通过判别和重建来检测异常。

最后在SWaT和SMAP两个数据集上进行了对比实验，证明了GATCN-MAD模型在

捕捉时间序列的时间依赖关系具有优越性。

关键词：异常检测；多模态；图注意力网络；生成对抗网络；时间卷积网络

基于图注意力网络和时间卷积生成对抗网络的多模态异常检测方法研究

Abstract

Withtherapiddevelopmentofourcountrysindustry,industrialproductionisgradually

becomingmoreintelligent.Incomplexindustrialscenarios,smartsensorsarebecomingmore

popular,andmoreandmorereliabletime-seriesdatacanbecollected.Thesetime-seriesdata

usuallyhavemultimodalcharacteristics,andeachmodalitycontainsimportantequipment.

information.Therefore,itisnecessarytoproposereasonableanomalydetectionmethodsfor

thismultimodaltimeseriesdata.Infactoryscenarios,thecomplexityofmultimodaltimeseries

datagreatlyincreasesthedifficultyofanomalydetection.However,Existingdeeplearning

methodsfacethefollowingproblemswhendealingwithmultimodalindustrialtime-seriesdata:

(1)