时空融合与判别力增强的孪生网络目标跟踪方法.pdfVIP

第19卷第5期智能系统学报Vol.19No.5

2024年9月CAAITransactionsonIntelligentSystemsSep.2024

DOI:10.11992/tis.202306005

网络出版地址:/urlid/23.1538.TP1643.006

时空融合与判别力增强的孪生网络目标跟踪方法

1121

黄昱程，肖子旺，武丹凤，艾斯卡尔·艾木都拉

（1.新疆大学计算机科学与技术学院,新疆乌鲁木齐830046;2.北京联合大学机器人学院,北京100101）

摘要：孪生跟踪器的出现极大提升了跟踪任务性能。然而，当前跟踪器难以精准描述目标外观变化，造成面

临遮挡和尺度变化等挑战时的性能衰减。另外，杂乱背景会产生干扰响应图，误导目标定位。为此，引入2个

基于Transformer的跟踪模块用于提高孪生跟踪器性能。其中时空融合模块使用交叉注意力机制的全局特征关

联，迭代累积历史线索从而提高目标外貌变化的鲁棒性。判别力增强模块关联目标和搜索区域的语义信息，以

提高目标判别能力。此外，使用空间通道加权特征融合，充分发掘空间分布和语义相似性的时空信息。所提模

块可嵌入主流孪生跟踪器，在公开数据集上的实验证明了方案的优越性。

关键词：人工智能；深度学习；计算机视觉；目标跟踪；神经网络；Transformer；特征融合；时序建模

中图分类号：TP18文献标志码：A文章编号：1673−4785(2024)05−1218−10

中文引用格式：黄昱程,肖子旺,武丹凤,等.时空融合与判别力增强的孪生网络目标跟踪方法[J].智能系统学报,2024,19(5):

1218–1227.

英文引用格式：HUANGYucheng,XIAOZiwang,WUDanfeng,etal.Spatiotemporalfusionanddiscriminativeaugmentationfor

improvedSiamesetracking[J].CAAItransactionsonintelligentsystems,2024,19(5):1218–1227.

Spatiotemporalfusionanddiscriminativeaugmentationfor

improvedSiamesetracking

1121

HUANGYucheng，XIAOZiwang，WUDanfeng，HAMDULLAA

(1.SchoolofComputerScienceandTechnology,XinjiangUniversity,Urumqi830046,China;2.CollegeofRobotics,BeijingUnion

University,Beijing100101,China)

Abstract:ThedevelopmentofSiamesetrackershasconsiderablyenhancedthetrackingperformance.However,current

trackershavedifficultyaccuratelydescribingchangesintheappearanceofthetarget,whichresultsinp