基于时空注意力的在线目标跟踪算法研究.pdfVIP

摘要

目标跟踪是计算机视觉领域的核心技术之一，广泛应用于自动驾驶、安全监控

等多个领域，具有显著的研究和实际应用价值。基于孪生网络的单目标跟踪算法是

本文的核心研究对象。目前，这些算法已经展现出优异的性能。然而，现有算法未

能充分利用视频序列中的时空信息，导致在处理目标形变和遮挡问题时存在不足。

对此，本文设计了一个基于时空注意力的在线目标跟踪算法。此外，目前多数算法

为了追求跟踪精度，忽视了效率，导致算法实时性较差。而实时性对于目标跟踪的

应用场景至关重要，对此，本文进行了算法轻量化的研究。本文的工作具体如下：

为了解决目标跟踪中的形变和遮挡问题，本文引入时间注意力模块和空间注

意力模块，并设计了一个基于时空注意力的目标跟踪算法。该算法以SiamRPN++

为基准模型，在模板分支引入了多个动态模板。首先，本算法参考SENet的结构

设计了时间注意力模块以便能更有效地提取视频的时间信息。另外为了减少动态

模板噪声的影响，算法在时间注意力模块中加入了视频第一帧的目标特征，形成残

差连接。其次，算法引入空间注意力模块，通过自注意力运算提取全局空间信息，

弥补了卷积运算的局部限制，提升了目标框预测的准确性。然后，本文还采用了定

期更新动态模板的策略，通过缓存池保存跟踪结果，并根据置信度进行更新，以此

来充分发挥时间注意力模块的作用，并保持效果和效率的平衡。最后，在多个数据

集上的实验证明了时空注意力模块和算法的有效性。

为了提高算法实时性，本文设计了轻量化的目标跟踪算法。首先，本文采用了

MobileNetV2作为特征提取网络，使用深度可分离卷积替代传统卷积，显著降低了

模型复杂度。其次，针对空间注意力模块，基于像素相似性假设，通过剪枝和降采

样减少了自注意力运算的时间复杂度。然后，本文还采用了早期融合策略来降低多

分支融合的复杂性，并引入通道注意力模块来自适应调整各层特征的重要性。此外，

为了简化RPN预测头的超参数设置，本文使用了无锚框的预测头。最后，多个数

据集上的实验证实了本算法取得了良好的效果。

关键词：单目标跟踪，孪生网络，时间注意力，空间注意力，轻量化

ABSTRACT

Objecttrackingisoneofthecoretechnologiesinthefieldofcomputervision.Itis

widelyusedinmanyfieldssuchasautonomousdrivingandsafetymonitoring,andhas

significantresearchandpracticalapplicationvalue.Singleobjecttrackingalgorithms

basedonSiamesenetworksisthecoreresearchobjectofthisthesis.Currently,these

trackingalgorithmshavedemonstratedexcellentperformance.However,existing

algorithmsfailtofullyutilizethespatio-temporalinformationinvideosequences,

resultingindeficienciesindealingwithtargetdeformationandocclusionproblems.In

thisregard,anonlineobjecttrackingalgorithmbasedonspatio-temporalattentionis

realizedinthisthesis.Inaddition,currentalgorithmsignoreefficiencyinordertopursue

trackingaccuracy,resultinginpoorreal-timeperformance.Real-timeperformanceis

crucialfo