基于知识蒸馏的Transformer视觉跟踪器.pdfVIP

第33卷第4期光学精密工程Vol.33No.4

2025年2月OpticsandPrecisionEngineeringFeb.2025

文章编号1004-924X（2025）04-0653-12

基于知识蒸馏的Transformer视觉跟踪器

*

李娜，刘蒙巧，潘金婷，黄开，贾兴轩

（西安邮电大学通信与信息工程学院，陕西西安710121）

摘要：针对复杂深度模型在运算资源受限条件下难以实现高精度、高帧率跟踪的问题，本文提出了一种基于知识蒸馏的

Transformer视觉跟踪器。该视觉跟踪器通过引入图像动态校正模块，将当前帧搜索图像与基于光流的预测图像进行动

态融合，能有效应对目标快速移动、运动模糊等挑战。为了降低模型复杂度，本文采用知识蒸馏学习策略对模型进行压

缩，并将同方差不确定性融入损失函数中，通过学习可得到不同子任务的损失权重，从而避免手动调参的繁琐与困难。

同时，在训练过程中，采用随机模糊策略以增强模型的鲁棒性。本文提出了两种不同复杂度的跟踪框架：KTransT-T和

KTransT，并在五个公开数据集上与12种算法进行了对比实验。实验结果表明：KTransT-T算法有效提高了跟踪精度

和成功率，KTransT则在保证较低模型复杂度的同时，达到了与主流算法相当的跟踪精度，其跟踪速度可达158frame/s，

满足实时跟踪的需求。

关键词：计算机视觉；目标跟踪；Transformer；知识蒸馏；同方差不确定性

中图分类号：TP391.4文献标识码：A

doi：10.37188/OPE..0653CSTR：32169.14.OPE..0653

ATransformer-basedvisualtrackerviaknowledgedistillation

*

LINa，LIUMengqiao，PANJinting，HUANGKai，JIAXingxuan

（SchoolofCommunicationandInformationEngineering，Xi’anUniversityofPostsand

Telecommunications，Xi’an710121，China）

*Correspondingauthor，E-mail：lina114@xupt.edu.cn

Abstract：Toachievehigh-precisionandreal-timetrackingwithlimitedcomputingresources，atransform⁃

er-basedvisualtrackerviaknowledgedistillationwasproposed.Byintroducingtheimagedynamiccorrec⁃

tionmodule，ourtrackerfusedthesearchimageofthecurrentframewiththepredictedimagebasedonop⁃

ticalflow，whichcouldeffectivelydealwithchallengessuchasfastmotionandmotionblur.Inordertore⁃

ducemodelcomplexity，theknowledgedistillationlearning