CN111860249B 一种基于多层次聚合和注意孪生网络的视觉目标跟踪方法 （上海蠡图信息科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN111860249B(45)授权公告日2025.07.01

(21)申请号202010653926.6

(22)申请日2020.07.08

(65)同一申请的已公布的文献号申请公布号CN111860249A

(43)申请公布日2020.10.30

(73)专利权人上海蠡图信息科技有限公司

地址上海市宝山区高逸路112-118号3幢

6037室

(72)发明人宋晓宁范颖冯振华

GO6V10/77(2022.01)

GO6V10/82(2022.01)GO6N3/0464(2023.01)

(56)对比文件

CN110083770A,2019.08.02CN110781680A,2020.02.11审查员陶娟

(74)专利代理机构南京禹为知识产权代理事务

所(特殊普通合伙)32272专利代理师朱宝庆

(51)Int.CI.

GO6V20/40(2022.01)

GO6V10/74(2022.01)权利要求书3页说明书12页附图5页

(54)发明名称

一种基于多层次聚合和注意孪生网络的视觉目标跟踪方法

(57)摘要

CN111860249B本发明公开了一种基于多层次聚合和注意孪生网络的视觉目标跟踪方法，包括以下步骤，利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；定义多层聚合模块，选择地集成高层语义特征和低层细节特征来学习多层特征间的互补信息，用以辅助浅层特征跟踪目标；在所述多层聚合模块后加入自细化模块抑制多层聚合产生的噪声；在所述孪生主干网络的顶层卷积特征处添加头注意模块，增强顶层特征的语义表示提高对目标的识别能力；构建多层次聚合和注意孪生网络跟踪器用于视觉目标跟踪。本

CN111860249B

CN111860249B权利要求书1/3页

2

1.一种基于多层次聚合和注意孪生网络的视觉目标跟踪方法，其特征在于：包括以下步骤，

利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；

定义多层聚合模块，选择地集成高层语义特征和低层细节特征来学习多层特征间的互补信息，用以辅助浅层特征跟踪目标；

在所述多层聚合模块后加入自细化模块抑制多层聚合产生的噪声；

在所述孪生主干网络的顶层卷积特征处添加头注意模块，增强顶层特征的语义表示提高对目标的识别能力；

构建多层次聚合和注意孪生网络跟踪器用于视觉目标跟踪；

所述多层聚合模块包括以下步骤，

提取示例样本在所述孪生主干网络上生成分别为F?1、F?2和F??三层特征的表示；

采用反卷积的方式将最后2层特征采样到相同的分辨率为F′?2及F′z?;

将三层特征级联在一起，并将级联后的特征进行卷积运算生成聚合的多层聚合特征F=conv(concat(F?1,F′z?,F′z3),所述F充分编码来自浅层的低级细节信息和深层的高级语义信息；

所述头注意模块包括空间注意机制和通道注意机制，其中所述空间注意机制包括，

将所述头注意模块的输入特征表示为F∈R×W×,其中C、W及H分别表示通道、宽度和高度维度；

将此输入特征输入到3个具有相同结构的卷积层中得到3个新的特征，分别为F?、Fk和F,都属于R××;

将F。和F重构为R×,其中N=H×W;

之后在F和F的转置之间进行矩阵乘法，并应用Softmax运算生成空间注意映射：

定义F?;表示用来测量位置i处特征相对位置j处特征的影响，且两者之间的联系越紧密，则Fsi的值就越大；

将F,重构成R×,并和F进行矩阵乘法得到结果为F,将所述F,乘以一个参数入，并与F执行元素求和运算以获得最终的输出为：

其中λ的值初始化为0,并逐渐学会对空间注意映射分配更多的权重；所述通道注意机制包括，

将输入特征F∈R×W×H变换成R×,其中N=H×W;

之后将F的转置和F做矩阵乘法，并应用Softmax运算得到通道注意映射F。∈R

其中Fcji为用来测量第i个通道对第j个通道的影响，与所述空间注意机制相似，Fcj;值越大表示两者间的相互联系就越大；

然后将重构成R×的特征F与通道注意映射F。进行矩阵乘法，并与参数λ。相乘，最后与F

CN111860249B