CN114926652B 基于交互与聚合式特征优化的孪生跟踪方法及系统 （厦门理工学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114926652B(45)授权公告日2025.07.08

(21)申请号202210600748.X

(22)申请日2022.05.30

(65)同一申请的已公布的文献号申请公布号CN114926652A

(43)申请公布日2022.08.19

(73)专利权人厦门理工学院

地址361024福建省厦门市集美区理工路

600号

(72)发明人陈思许瑞王大寒朱顺痣吴芸

(74)专利代理机构福州元创专利商标代理有限公司35100

专利代理师张灯灿蔡学俊

(51)Int.CI.

GO6V10/74(2022.01)

GO6V10/80(2022.01)

GO6V10/82(2022.01)

GO6N3/0442(2023.01)

GO6N3/08(2023.01)

GO6N3/045(2023.01)

GO6N3/048(2023.01)

GO6N3/0464(2023.01)

GO6N3/042(2023.01)

(56)对比文件

CN113297959A,2021.08.24CN114140700A,2022.03.04审查员李邵飞

GO6V

10/44(2022.01)

权利要求书4页

说明书11页

附图2页

(54)发明名称

基于交互与聚合式特征优化的孪生跟踪方法及系统

(57)摘要

CN114926652B本发明涉及一种基于交互与聚合式特征优化的孪生跟踪方法及系统，该方法包括以下步骤：初始化模板图像和搜索区域图像；构建特征提取网络，获得模板多层特征和搜索区域多层特征；构建门控双视角聚合模块优化多层模板特征；构建语义引导的注意力模块实现搜索区域的粗粒度特征优化；构建相关性图聚合模块实现搜索区域的细粒度特征优化；构建头部预测网络，预测出当前帧目标的位置。该方法及系统通过模板特征和搜索区域特征的自注意力聚合及交互来增强目标显著特征，抑制背景噪声，从而在具

CN114926652B

CN114926652B权利要求书1/4页

2

1.一种基于交互与聚合式特征优化的孪生跟踪方法，其特征在于，包括以下步骤：

S1、初始化模板图像和搜索区域图像；

S2、构建特征提取网络，输入模板图像和搜索区域图像，获取相应的模板多层特征F?和搜索区域多层特征F;

S3、构建门控双视角聚合模块GDA以优化模板多层特征，将模板多层特征F?输入GDA模块，获得优化的模板多层特征?;

S4、构建语义引导的注意力模块SGA以实现搜索区域的粗粒度特征优化，将F?和搜索区域多层特征F、输入SGA模块，获得粗粒度优化的搜索区域特征F;

S5、构建相关性图聚合模块CGA以实现搜索区域的细粒度特征优化，将F?与F输入CGA模块，获得细粒度优化的搜索区域特征F;

S6、构建头部预测网络，将F?和F、输入，预测出当前帧目标的位置。

2.根据权利要求1所述的基于交互与聚合式特征优化的孪生跟踪方法，其特征在于，步骤S1的具体实现方法为：

根据第一帧给定的目标真实边界框，在第一帧图像上裁剪出尺寸大小为3×127×127的模板图像；从第二帧开始，以上一帧的目标预测边界框中心坐标为参考点，裁剪出尺寸大小为3×255×255的搜索区域图像。

3.根据权利要求1所述的基于交互与聚合式特征优化的孪生跟踪方法，其特征在于，步骤S2的具体实现方法为：

采用ResNet-50作为特征提取网络，将模板图像和搜索区域图像作为输入，获取模板多层特征F?={f2,f,….f2和搜索区域多层特征F、={f,f.,…f3,其中1表示提取的模板或搜索区域特征总层数，f、f分别表示第i层的模板特征和搜索区域特征，i∈[1,1]。

4.根据权利要求1所述的基于交互与聚合式特征优化的孪生跟踪方法，其特征在于，步骤S3的具体实现方法为：

所述GDA模块包括局部视角注意力LA、全局视角注意力GA以及聚合门控三个子模块；所述LA模块用于凸显局部视角的高频信息；对于大小为C×H×W的单层模板特征f?,局部视角注意力特征LA(f?)表示为：

LAf)=(1④o(B(W?h))of

,这里r表示通道压缩参其中，W?为可