时空关键区域增强的小样本异常行为识别.pdfVIP

第48卷第1期计算机学报Vol.48No.1

2025年1月CHINESEJOURNALOFCOMPUTERSJan.2025

时空关键区域增强的小样本异常行为识别

肖进胜王澍瑞吴原项赵持恒陈云华”章红平”

430072)

1（武汉大学电子信息学院武汉

2）（广东工业大学计算机学院广州510006)

430072)

3）（武汉大学GNSS研究中心武汉

摘要异常行为识别在维护社会安全稳定方面起着重要的作用，相比于常见的正常行为识别，它是一项更具挑

战性的任务。其难点主要体现在：异常行为实际发生的概率较低，因此可用于训练的样本数目相对较少；监控视频

中，包含判断性信息的异常行为特征往往只存在于局部的关键区域中；异常行为时空变化复杂，导致连续地定位并

利用关键区域特征变得更加困难。为了解决上述难题，本文提出时空关键区域增强的小样本异常行为识别方法，

通过学习大规模正常行为数据集中的共性知识实现对数量较少的异常行为的识别，并选取视频中的关键区域对异

常行为特征进行增强。特征向量由于其中的信息被压缩，而难以准确地定位关键区域，本文创新性地挖掘特征图

中的二维空间信息，以自适应地选取异常行为的关键区域。单个的视频帧很难反映行为的变化情况，因此需要根

据时空信息动态地选取关键区域。本文提出在特征图级别将长时间范围内的时序信息和短时间范围内的运动信

息进行关联，以使关键区域有效地捕捉异常行为的连续变化。最后提出时空精细化小样本损失函数，以保证模型

有效学习到在时间和空间中更精细化等级的特征。本文在HMDB51、Kinetics以及UCFCrimev2数据集上进行了

实验，结果证明本文方法识别效果优于其他方法，在异常行为数据集上相对于最强的竞争者准确率提升了0.6%。

关键词异常行为识别；小样本学习；关键区域增强；时空精细化损失；时空关联

中图法分类号TP391D0I号10.11897/SP.J.1016.2025.00068

AnomalousActionRecognitionwithSpatio-TemporalKeyRegionEnhancement

andFew-ShotLearning

WANGShu-Ruil)

XIAOJin-ShenglWUYuan-Xul)ZHAOChi-Hengl)

CHENYun-Hua?)2

ZHANGHong-Ping3)

D)(SchoolofElectronicInformation,WuhanUniversity,Wuhan430072)

2)(SchoolofComputer,GuangdongUniversityofTechnology,Guangzhou510006)

3)(GNSSResearchCenter,WuhanUniversity,Wuhan430072)

AbstractAnomalousactionrecognitionplaysanimportantroleinearly-warningsystemsand

hassignificantapplic