基于时空信息融合和注意力驱动的多目标跟踪算法.pdf

摘要

多目标跟踪（MOT,MultipleObjectTracking)是机器视觉中的一项重要技术，在自动

驾驶，行为识别，军工制导和智能安防等领域中多目标跟踪技术有着广泛而深远的应用

前景。多目标跟踪任务的主要目标是在给定视频中同时对多个感兴趣的对象进行定位，

并且维持跟踪目标的身份、记录跟踪目标的轨迹。近些年来，关于多目标跟踪领域的研

究工作主要围绕设计更好的跟踪框架、提出新的数据关联策略以及提升神经网络的鲁棒

性等方面展开。随着深度学习技术的不断发展，基于深度学习的目标检测算法变得更加

高效，基于检测的跟踪范式也因此获得了突破进展，但是现实场景的跟踪对象复杂多变，

数量、形状动态变化，目标之间的频繁遮挡以及相似目标的身份混淆等问题对多目标跟

踪任务造成了巨大挑战。本文采用基于检测的跟踪范式，结合深度学习最新的研究成果，

针对多目标跟踪过程中目标遮挡导致跟踪轨迹碎片化，以及行人目标非刚性形变造成行

人身份切换的问题，提出了以下解决策略：

（1）为了保持跟踪轨迹的一致性和提高跟踪算法的跟踪准确度，本文提出了基于

多级特征提取和时空相关性记忆网络的多目标跟踪算法，该算法的改进之处包括两个子

网络，多级特征卷积网络（MSC,Multi-ScaleConvolutionalnetwork）和时空相关性记忆

网络(STCM,Spatial-TemporalCorrelationMemorynetwork)。MSC将传统的Res-Net中的

残差块结构（Block）由单一尺寸的卷积核替换为三个不同尺寸的卷积核，提升了主干网

络对不同尺度特征的提取能力；STCM网络在传统主干网络的结构中增加一个记忆器，

用于记录历史帧中目标身份信息及外观信息，并根据记录的相关信息指导主干网络对当

前帧的跟踪目标进行检测任务和重识别任务的特征提取，从而帮助主干网络聚焦视频帧

中的前景特征。此外，该算法还提出一个候选框评分机制，能够选择出基于外观检测的

候选框和基于运动预测的候选框中较为合理的一项，从而减少碎片化的轨迹，保持跟踪

轨迹的长时一致性。

（2）为了应对跟踪目标的非刚性变换以及传统神经网络无法充分利用视频序列数

据所包含的时空信息的问题，本文提出了时空注意力及图自注意力驱动的多目标跟踪算

法，该算法的创新之处主要包括时空注意力（STA,SpatialTemporalAttention）和图自注

I

意力（GSA,Graph-SelfAttention）两个模块，该算法可以通过历史帧的时空信息以及当

前视频帧中目标的上下文信息，获取具有判别力和鲁棒性的特征，自适应地学习跟踪目

标在不同视频帧中的尺度变化和外观变形。其中，STA模块中的三维卷积层可以综合地

学习跟踪目标在不同视频帧中的时空特征信息，GSA模型利用当前帧中目标的上下文

信息构建一个图模型，自适应地学习目标的非刚性变换，可以增强神经网络所提取特征

的鲁棒性，并减少背景信息的干扰。

关键词：多目标跟踪，多级特征卷积，记忆网络，时空特征，注意力机制

II

目录

摘要I

ABSTRACTIII

目录V

第1章绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1基于相关滤波的多目标跟踪算法研究现状4

1.2.2基于深度学习的多目标跟踪算法研究现状6

1.3多目标跟踪任务面临的主要难点9

1.4本文研究的主要内容10

1.5本文结构安排11

第2章多目标跟踪相关理论基础13

2.1深度学习相关理论13

2.1.1卷积神经网络基础框架13

2.1.2可变形卷积14

2.1.3注意力机制15

2.2多目标跟踪算法概述16

2.3常用数据集和评价指标18

2.3.1常用数据集介绍18