用于RGBT跟踪的孪生混合信息融合算法.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812024⁃09⁃10

计算机应用,2024,44(9):2878-2885CODENJYIIDUhttp：//www.joca.cn

文章编号：1001-9081（2024）09-2878-08DOI：10.11772/j.issn.1001-9081.2023081223

用于RGBT跟踪的孪生混合信息融合算法

*

黄颖，杨佳宇，金家昊，万邦睿

（重庆邮电大学软件工程学院，重庆400065）

（∗通信作者电子邮箱huangying@cqupt.edu.cn）

摘要：可见光与热红外跟踪（又称RGBT（RGB-Thermal）跟踪）的核心是有效地利用不同模态的信息，针对决策

级融合中单分支产生低质结果影响算法判定目标的问题，提出一个用于RGBT跟踪的孪生混合信息融合算法

SiamMIF。首先，使用孪生主干网络（SBN）进行多模态特征提取；其次，从信噪比的角度分析低质图像对双分支并行

决策产生的影响，进而设计了一个信噪比驱动的信息交互模块（IIM）对低信噪比特征进行信息互补；再次，利用双流

无锚跟踪头（ADH）对补偿后的特征进行分类回归；最后，采用自适应轻量决策模块（ALDM）对跟踪结果进行融合，并

快速判定目标位置。在4个RGBT基准数据集GTOT、RGBT234、VOT-RGBT2019和LasHeR上的实验结果表明，所提

算法在LasHeR数据集上的成功率和精确度分别为0.396和0.518，相较于APFNet（Attribute-basedProgressiveFusion

Network）提升9.4%和3.6%，在其他3个数据集上也能取得较好结果，且在GPU上的帧率能达到40frame/s。

关键词：RGBT跟踪；孪生神经网络；多模态融合策略；信息交互；无锚跟踪头

中图分类号：TP183文献标志码：A

SiamesemixedinformationfusionalgorithmforRGBTtracking

*

HUANGYing，YANGJiayu，JINJiahao，WANBangrui

（SchoolofSoftwareEngineering，ChongqingUniversityofPostsandTelecommunications，Chongqing400065，China）

Abstract:Thecoreofvisiblelightandthermalinfraredtracking（RGBT（RGB-Thermal）trackingforshot）liesinthe

effectiveutilizationofinformationfromdifferentmodalities.Toaddresstheproblemoflow-qualityresultsproducedbysingle

branchindecision-levelfusionaffectingalgorithm