结合Transformer联策略的行人多目标跟踪方法.pdf

结合Transformer与增强型数据关联策略的行人多目标跟踪方法

摘要

为了平衡跟踪速度与精度，联合检测与外观嵌入的跟踪框架成为一种主流的跟踪范

式，其在一个统一的框架中同时学习检测任务与外观特征提取任务，进行子任务的联合

优化并降低模型训练的复杂度。随着目标的移动，目标的尺度不断变化、目标之间存在

频繁遮挡与相似的外观特性，这些都为多目标跟踪带来挑战。当前联合检测与外观嵌入

的跟踪器仍然有不足之处：第一，对全局信息的利用不够，全局信息包含着目标与目标

之间、目标与背景之间的交互，其是跟踪的重要线索；第二，数据关联算法对检测性能

依赖较大，相似性度量方式不够精确，当目标之间相互遮挡时易导致身份切换。

第一，为了解决目标尺度变化大、目标具有相似的外观特性带来的问题，本文引入

了Transformer模块，充分利用全局信息增强特征以适应目标的尺度及外观变化。首先，

本文提出了CSPTransformer模块，将其替代骨干网中最后一个卷积块，首先利用多层

卷积提取低分辨率的局部特征，再通过结合相关位置编码的多头自注意力机制从全局信

息的角度处理与融合局部特征，以增强骨干网特征提取能力同时减少网络计算量。除此

之外，本文首次在多目标跟踪中将多尺度信息引入到Transformer中，引入了Scale-aware

Transformer模块，其聚合不同尺度的特征图产生尺度感知的全局信息以增强特征表示，

提高网络对目标尺度变化的鲁棒性，间接提高了跟踪的性能并且不引入过多的计算代价。

第二，为了解决目标相互发生遮挡时产生关联错误的问题，本文设计了增强型数据

关联策略，以降低遮挡时不可靠的检测与不精确的关联带来的影响。首先，根据置信度

阈值将检测框分为低分检测框与高分检测框进行分级匹配，充分利用低分检测框信息；

其次，对于遮挡引起的不可靠检测框，检测恢复机制利用目标外观线索的时间不变性，

恢复那些不可靠的检测以降低碎片化轨迹与身份切换。同时，增强型数据关联策略中采

用了更加精确的CIoU度量方式，设计了CIoU-Embedding相似度矩阵，其降低度量方

式的复杂性并改善了数据关联的准确性。实验表明本文所提方法具有很好的跟踪性能。

关键词：多目标跟踪；联合检测与外观嵌入；Transformer;多头注意力；数据关联

结合Transformer与增强型数据关联策略的行人多目标跟踪方法

ABSTRACT

Duetobalancedtrackingaccuracyandspeed,jointdetectionandembedding(JDE)

trackingparadigmhasbeenatypicalMOTmethod,learningobjectdetectionandIDembedding

simultaneouslyinaunifiedframework,whichcanachievejointoptimizationamongsubtasks

andreducethecomputationcost.However,MOTremainsmanychallengesduetofrequent

occlusions,similarappearanceandinteractionamongmultipleobjects,changesinscalecaused

bypedestrianmovement.CurrentJDEmethodsstillhavetwodrawbacks:(1)MostJDEtrackers

ignoreglobalinformationincludinginteractionsamongtarget-targetandtarget-background,

whicharecrucialcuesfordataassociation.(2)Dataassociationalgorithmsrelyheavilyonthe

performanceofdetectorsandthesimil