引入特征融合和Transformer模型预测器的目标跟踪算法.pdfVIP

2542025，61（6）ComputerEngineeringandApplications计算机工程与应用

⦾图形图像处理⦾

引入特征融合和Transformer模型预测器的目标跟踪算法

+

龚小梅，张轶，胡术

四川大学计算机学院，成都610041

+通信作者E-mail：yi.zhang@scu.edu.cn

摘要：近年来判别相关滤波器（DCF）在视觉跟踪领域取得了巨大的成功，然而大多数相关滤波跟踪器仅依赖主干

网提取的最后一层特征，忽视了低层丰富的目标结构信息。基于此，提出了一种基于特征融合模块和Transformer结

构模型预测器的目标跟踪算法。引入了一个金字塔形的特征融合模块，能有效整合低层特征和高层特征。使用采

用非对称位置编码方案的Transformer结构预测目标模型权重，以释放模型的表达能力。提出了一个特征优化模块

以根据模型权重优化搜索特征。与现有的方法相比，该算法实现了更优的特征表示和更准确的目标定位。在Tracking-

Net、LaSOT和UAV123三个主流数据集上的实验结果表明，跟踪器获得了突出性能。

关键词：特征融合；Transformer；目标跟踪；特征优化；目标分类

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2311-0077

TargetTrackingAlgorithmwithFeatureFusionandTransformerBasedModelPredictor

+

GONGXiaomei,ZHANGYi,HUShu

SchoolofComputer,SichuanUniversity,Chengdu610041,China

Abstract：Discriminativecorrelationfilters(DCF)haveachievedmuchsuccessinvisualtracking.However,mostof

themsimplyrelyonthefeaturesextractedbythelastlayerofthebackbone,whileignoringthelow-levelrichstructural

information.Inviewofthis,atargettrackingalgorithmbasedonthefeaturefusionmoduleandtheTransformerstructure

modelpredictorisproposed.Firstly,afeaturefusionmoduleisintroducedthatintegratesthelow-levelfeatureandhigh-

levelfeatureviaapyramidalstructure.Then,amodifiedTransformerwithasymmetricpositionalencodingschemeis

appliedtopredicttheweightsofthemodel,whichcaneffectivelyreleasetheexpressiveabilityofthemodel.Finally,a

featurerefinementmoduleisemployedtooptimizethesearchfeatures.Comparedwiththeexistingworks,thetracker

achievesbetterfeatureexpressionandmoreprecisetargetlocalization.Extensiveexperimentson3mainstreamdatasets,

TrackingNet,LaSOTandUAV123,demonstratethatthetrackergainsprominenttrackingresults.

Keywords：featurefusion;T