基于事件相机的无人机目标跟踪算法 .pdfVIP

基于事件相机的无人机目标跟踪算法

0引言

如今无人机已在各个领域发挥着不可替代的作用，而目标跟踪是无人机一项

极为重要的功能，当无人机仅搭载RGB相机时，无法有效适应较为复杂的跟踪

场景：（1）由于桨叶拉力和离心力产生共振和受外界风力影响，拍摄的图像较

模糊，无法有效利用计算机视觉算法进行单目标跟踪；（2）无人机的工作环境

较为复杂，用传统相机结合视觉算法在复杂光照场景下鲁棒性低，在夜间或过曝

光场景下无法有效跟踪物体。为解决上述无人机视角下的目标跟踪问题，本文采

用无人机搭载动态和有源像素视觉传感器（DAVIS）事件相机的方法进行目标跟

踪。利用DAVIS事件相机特殊的成像机制，避免因目标物体快速运动出现成像

模糊，从而有效适应无人机抖动、特殊光照等复杂场景，采集的待跟踪物体的边

缘信息较RGB相机更有效。据此，设计了基于事件与灰度图的双模态融合跟踪

网络，有效利用事件域数据的边缘信息和APS域数据的纹理信息。为更好地训

练事件与灰度图双模态融合跟踪网络，用运动捕捉系统Vicon制作了无人机视

角下的目标跟踪Event-APS28数据集。实验结果证明，设计的网络能更好地适

应无人机复杂的跟踪场景。

1国内外研究现状

1.1相关滤波跟踪算法

相关滤波跟踪算法最初在信号处理与分析领域用于描述2个信号之间的相

似程度。BOLME等最早提出最小平方误差输出总和（MOSSE）算法，将相关滤

波应用于目标追踪。对待跟踪的目标视频帧需要寻找其对应的滤波模板，并和视

频帧做相关性操作，得到响应图。为加快运算速度，MOSSE算法还引入了快速

傅里叶变换操作，将卷积操作变换为点乘操作，从而大大降低了模型的计算量。

基于MOSSE算法的循环结构跟踪相关滤波（CSK）算法，在MOSSE算法

基础上加入了正则项，且为防过拟合，引入了核函数和循环矩阵。核化相关滤波

（KCF）算法将多通道梯度直方图作为输入，以提高目标跟踪的精度，采用“岭

回归”和“核函数”等技巧简化运算，是对CSK算法的进一步改进。相关滤波

跟踪器具有较高的跟踪速度，应用广泛。

虽然相关滤波跟踪方法在目标跟踪中具有不错的效果，但仍存在一些问题。

首先，鲁棒性较差，遇到遮挡等情况难以满足跟踪要求；另外，准确率不及深度

学习跟踪算法。

1.2深度学习跟踪算法

近年来，随着深度学习的发展，单目标跟踪领域涌现出很多优于传统跟踪方

法的深度学习算法。BERTINETTO等提出基于全卷积孪生网络的单目标跟踪算

法（fullyconvolutionalsiamesenetwork，SiamFC），顾名思义，孪生神经

网络的结构是对称的，2个分支的输入分别是第1帧的目标区域和待搜索的视频

帧，如果输入的视频帧不符合尺度要求，则需要用均值进行填充。SiamFC通过

AlexNet提取2个分支的图像特征，并对得到的模板帧特征和搜索帧特征进行

互相关操作，得到待搜索视频帧的目标框。之后BO等在SiamFC基础上引入了

区域推荐生成网络（regionproposalnetwork，RPN），实现了多个尺度的图

像处理，准确回归出目标位置。WANG等提出的SiamMask，通过在SiamFC

网络上添加mask分支，以适应由物体形状位置实时生成的包围框。

基于循环神经网络的目标跟踪算法不同于基于卷积网络的跟踪算法，可针对

视频跟踪序列的时序信息进行建模，利用循环神经网络保存视频的帧连续性信息。

经典的有结构关注网络（SANet）、基于动态记忆网络等跟踪算法。

虽然基于深度学习的算法已表现出优异的性能，但由于RGB相机有限的帧

率和有限的动态范围，使得无人机在复杂光照场景下的鲁棒性较差，在夜间低光

照或过曝光场景下无法有效跟踪目标。

1.3事件相机

事件相机在流体力学、显微镜、粒子跟踪、荧光成像、机器人等领域有广泛

应用。传统的RGB相机因受成像机制影响，存在数据冗余、欠采样和处理延迟

等不足，而仿生的事件相机其成像机制类似于视网膜，采用的是异步事件驱动机

制，当某个像素的亮度变化累计达到一定阈值时，输出一个“事件”。“事件”