基于特征细化与轨迹提示的目标跟踪算法研究.pdf

摘要

目标跟踪在计算机视觉领域一直是一个极具挑战性的研究主题，尤其是在复杂

动态场景中实现准确地追踪目标。当前，目标跟踪算法主要面临的问题有：特征融合

后目标响应图存在噪声和时空信息利用不充分。在目标跟踪中，合适的特征融合方式

能够提供更丰富的信息，帮助区分目标和背景。然而，传统的特征融合方法往往采用

简单的互相关或者注意力操作，互相关因其简单的融合方式和无法有效捕获全局信

息而存在局限性，自注意力操作也因融合了全局信息存在噪声的问题。此外，在许多

跟踪算法中，目标跟踪问题被简化为独立的、随机帧检测问题，这些方法忽视了目标

运动的时间连续性和历史轨迹信息。目标的运动轨迹包含了重要的时序信息，在目标

临时被遮挡或出现在画面之外时，可以用来预测其未来位置。缺乏有效的轨迹信息利

用，会使得跟踪算法在面对快速运动或复杂交互场景时，性能大幅下降，甚至完全失

去跟踪目标。针对以上问题，展开以下的研究工作：

（1）提出基于注意力门控单元特征融合的目标跟踪方法。针对特征融合后搜索

图像中出现的背景噪声和特征丢失的问题，设计了一种基于注意力门控机制的特征

融合方法来细化特征融合后的特征信息，该方法利用注意力门控单元动态地选择和

整合来自不同分支的特征。注意力机制负责强化和融合搜索图像和模版图像的特征

信息，门控单元根据自注意力增强后的特征信息，指导更新搜索图像与模版图像交叉

注意力之后的特征信息，自适应的控制特征的输出，达到对背景杂波干扰的删除和丢

失信息的补全，确保融合能够关注最有利于目标识别和跟踪的特征。实验结果表明，

在GOT-10k数据集中，相较于基线模型，平均覆盖率AO提升了4.9%，成功率SR0.5

提高了4.7%，SR0.75提高了2.7%；在LaSOT数据集中，AUC提升了3.6%，PNorm提

高了2.6%，精确度提高了3.5%。

（2）提出基于时序轨迹提示的目标跟踪算法。针对现有目标跟踪模型在遇到遮

挡和受相似物体干扰的条件下准确度不高的问题，本研究提出了一种高效的目标跟

踪时序网络。提出的网络模型将边界框的四个（上下左右）坐标参数视为一个个单词，

使用注意机制将边界框的四个坐标参数编码为一个单一参数，以此强调连续帧之间

而非单个帧内的时序性。同时，将多个历史帧的位置作为提示信息添加在网络中学习

目标的轨迹走向，旨在捕捉目标在视频序列中的运动轨迹。此外为了防止模型过分专

注于轨迹或外观特征而忽视另一方面，还引入了对搜索图像的二次查询机制，该机制

I

旨在平衡模型对目标特征和运动轨迹的关注，确保两者得到充分利用。实验结果表

明，在GOT-10k数据集中，相较于基线模型，AO增加了1.6%，在SR0.5上增加了

4.5%；在LaSOT数据集中，AUC提升了3%，PNorm提高了2.5%，精确度提高了2.2%。

本文系统地分析了目标跟踪任务中特征融合方式与目标易受相似物体与遮挡干

扰的问题，提出了一个基于特征细化与轨迹提示的目标跟踪算法。所设计的特征细化

方法和添加轨迹信息为复杂场景下的目标跟踪提供了新的解决方案。未来的工作将

集中在进一步提升模型的实时性能，以及扩展算法以适应更广泛的应用场景。

关键词：目标跟踪；特征融合；轨迹信息；注意力融合

II

ABSTRACT

Objecttrackingisalwaysachallengingresearchtopicinthefieldofcomputervision,

especiallyinthecomplexdynamicscenes.Atpresent,themainproblemsofObjecttracking

algorithmareasfollows:thereisnoiseintargetresponsegraphafterfeaturefusionand

insufficientuseofspace-timeinformation.InObjecttracking,suitablefeaturefusioncan

providemoreinformationtohelpdis