CN120088292B 一种基于卷积注意力融合的rgbt目标跟踪方法 （浙江师范大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120088292B(45)授权公告日2025.07.04

(21)申请号202510582564.9

(22)申请日2025.05.07

(65)同一申请的已公布的文献号申请公布号CN120088292A

(56)对比文件

CN116310683CN115205730审查员王馨

A,2023.06.23A,2022.10.18

(43)申请公布日2025.06.03

(73)专利权人浙江师范大学

地址321000浙江省金华市婺城区迎宾大

道688号

(72)发明人张大伟王炫肖昕何小卫陈灏郑忠龙

(74)专利代理机构合肥甄慧知识产权代理事务

所(普通合伙)34370专利代理师黄珍丽

(51)Int.CI.

GO6F16/00(2019.01)权利要求书2页说明书10页附图10页

(54)发明名称

一种基于卷积注意力融合的RGBT目标跟踪方法

(57)摘要

CN120088292B本发明公开了一种基于卷积注意力融合的RGBT目标跟踪方法，属于计算机视觉技术领域，包括以下步骤：步骤一、视频预处理；步骤二、特征提取：通过线性映射和Transformer编码器将输入图像信息编码为特征序列；步骤三、局部特征增强与融合：通过滑动窗口来选定局部区域，将当前模态的局部特征与另一个模态全局特征进行交叉注意力计算，从而实现局部特征增强，并有效融合了跨模态信息；步骤四、目标跟踪预测。本发明通过对局部特征信息的充分提取与融合，实现了更稳定的RGBT目标跟踪，在多个视频

CN120088292B

算法。

预测头

预测头

TransformerTransformer

编码器编码器

TransformerTransformer

编码器编码器

卷积注意力融合模块

TransformerTransformer

编码器编码器

线性映射

CN120088292B权利要求书1/2页

2

1.一种基于卷积注意力融合的RGBT目标跟踪方法，其特征在于，包括以下步骤：

步骤一、视频预处理；

在数据集中随机选取一段视频序列，其中每一帧为一张图像；在可见光与热红外模态的第一帧的相同位置选定目标所在的矩形区域，将该区域缩放，并保存作为该视频序列的目标模板；从第二帧起，以上一帧目标位置为中心点，选取范围大于目标所在区域的正方形区域，并缩放后作为当前帧的搜索区域；

步骤二、特征提取；

将可见光与热红外模态的目标模板与搜索区域切割为若干区块并展开拼接，通过线性映射层将图像信息映射为一维特征序列，并向其加入全局位置编码；对两个模态的特征分别使用参数共享的主干网络的Transformer编码器提取特征；

主干网络采用OSTrack作为基线模型并扩展为双分支，令原始输入的可见光、热红外特征分别为X、X,第i层Transformer编码器表示为Encoder2,特征提取过程可公式化表达为：

其中，表示第i层可见光特征，Xi表示第i层热红外特征，表示第(i+1)层可见

光特征，表示第(i+1)层热红外特征；

步骤三、局部特征增强与融合；

在Transformer编码器之间插入卷积注意力融合模块：通过滑动窗口将一维特征序列进行二维化处理，随后在其周围进行零填充，使用滑动窗口从左上角开始循环滑动，滑动窗口遍历整个特征图，选定局部区域；将局部区域序列化并计算可见光与热红外模态的局部交叉注意力；最后将各个滑动窗口的局部交叉注意力结果进行合并；

通过滑动窗口选定局部区域，具体步骤如下：

对干输入的一维线性特征序列X∈R(HXW)×C.将其展开为二维特征.并通过零填充将其扩展至(H+2×padding)×(W+2×padding),其中，H、W、C分别为原始特征图的高、宽和通道数，padding为填充大小；将扩展后的区域分割为p×p的区块，将每个区块视为一个维数为P∈RD×p×C的特征点，其中，P