基于深度光流网络的无人机视频运动目标检测研究.pdfVIP

基于深度光流网络的无人机视频运动目标检测研究

摘要

随着无人机技术的发展，无人机视频图像可提供大范围、高分辨率数据信息，

为目标行为判断等提供了重要技术支撑，对于视频图像的处理也就变得非常重要，

其中运动目标检测作为计算机视觉领域重要组成部分，同时也是实现目标跟踪、

实例分割、道路监控和动作识别等任务的前提。传统的无人机视频运动目标检测

方法主要是帧差法、背景建模法、光流法等，其中光流法精度较高，在无人机视

频运动目标检测中被广泛应用，但计算复杂，实时性较差。随着深度学习技术的

发展，基于深度卷积神经网络的运动目标检测方法受到重视，鉴于传统光流法和

深度卷积神经网络的优势，又提出了基于深度光流网络的视频运动目标检测，其

在检测精度和速度等方面得到了一定提升，但现有方法仍存在一些问题，例如无

人机视频图像中场景多变，复杂场景下检测性能受到限制；由于运动模糊、多对

象遮挡等因素，造成目标对象外观退化、特征信息丢失等问题，导致目标检测精

度较低。因此本文针对上述问题，提出了一种新的基于深度光流网络的无人机视

频运动目标检测方法，本文主要从两个方向进行研究：一方面，通过卷积重参数

化策略和引入自注意力全局运动特征增强模块总体上提升检测精度，另一方面，

采用通道关注的光流解码器和token稀疏化策略有效减少计算参数，提高检测的

实时性。概括起来本文研究的具体内容如下所示：

(1)基于光流网络的无人机视频运动目标检测方法研究

针对已有的基于深度光流网络的无人机视频运动目标检测方法存在精度较

差，且由于无人机视频数据特征复杂多样导致复杂场景下目标检测性能受到限制

等问题，本文提出一种新的光流网络进行无人机视频运动目标检测，该网络主要

包含四个部分：特征提取模块、视觉相似度计算模块、自注意力全局运动特征增

强模块、光流更新迭代模块GRU(GateRecurrentUnit)。为了进一步提取视频图

像的细节信息和语义特征，提高特征提取网络的性能，在特征语义提取网络和上

下文提取网络部分分别引入卷积重参数化策略。由于目标遮挡和运动模糊容易导

致检测目标特征不明显的问题，引入自注意力全局运动特征增强模块，利用

transformer获得全局感受野，提取到更丰富的全局运动信息，同时使用注意力机

制抑制噪声，增强有效运动目标特征信息的提取。最后将得到的视频序列图像光

流场进行全局阈值分割得到最终的运动目标检测结果。通过在公开无人机视频数

据集AU-AIR2019上进行多场景下的实验证明了本文方法比其它方法具有更好

的检测效果，并通过在公开数据集FlyingChairs上与其它主流光流网络进行对比

实验证明了本文方法的性能优势，同时也通过消融实验验证了本文所提方法各个

模块的作用和效果，综合说明了本文方法有效提升了深度光流网络进行无人机视

频运动目标检测的性能。

(2)基于通道注意力的轻量化无人机视频运动目标检测方法

本文研究内容(1)主要针对无人机视频运动目标检测种存在检测精度较低的

情况提出了改进的光流网络，但由于深度学习光流算法通常会占用大量的存储和

高昂的计算成本，导致检测结果中仍存在由于模型参数量增加导致计算效率降低，

从而无法满足检测实时性的要求。对于以上问题，采用Token的稀疏化策略，由

此引入一个轻量级的预测模块添加到ViT的多个层中，实现分层地稀疏化处理，

从而进一步利用自注意力模块的优势，使得网络结构在不损失精度的情况下减少

模型参数量，提高模型预测速度。为了进一步提高计算效率，在解码部分引入有

效通道关注，组成新的光流解码器，快速筛选感兴趣的光流通道，保证检测精度

的同时进一步减少参数量和计算量。从实验结果的客观指标和主观检测效果两个

方面进行分析，并采用可视化结果验证了本文方法的效果，总体上说明了本文方

法对于无人机视频运动目标检测任务的有效性。

关键词：光流网络，无人机视频，运动目标检测，自注意力，轻量化

ResearchonUAVVideoMotionTargetDetectionBasedonDeep

OpticalFlowNetwork

ABSTRACT

WiththedevelopmentofUAVtechnology,UAVvideoimagescanpr