CN116012658B 一种自监督预训练目标检测方法、系统、设备及存储介质 （西安交通大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116012658B(45)授权公告日2025.07.11

(21)申请号202310112547.X

(22)申请日2023.02.14

(65)同一申请的已公布的文献号申请公布号CN116012658A

(43)申请公布日2023.04.25

(73)专利权人西安交通大学

地址710049陕西省西安市碑林区咸宁西

路28号

(72)发明人徐亦飞李斌严实刘汕王优尉萍萍宋毓韬余乐

(74)专利代理机构西安通大专利代理有限责任

公司61200专利代理师马贵香

(51)Int.CI.

GO6V10/764(2022.01)

GO6V10/77(2022.01)

GO6V10/82(2022.01)

GO6T7/73(2017.01)

G06T7/90(2017.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)

GO6N3/0895(2023.01)

(56)对比文件

CN114004992A,2022.02.01

WO2023005186A1,2023.02.02审查员王闪

权利要求书2页说明书9页附图3页

(54)发明名称

预训练阶段构造合成图代理任务

预训练阶段

构造合成图代理任务

主干网络提取特征

特征输入

Transformer

预测头预测类别和边界框

失

进行自监督预训练

保存预训练模型权重

微调阶段

用预训练权重

初始化模型参

数

进行有监督微调训练

分类任务优化措施

粘贴的

编码为object

粘贴pach进行

数据增强

添加下颜色

特征一鼓性分

(57)摘要

CN116012658B本发明公开了一种自监督预训练目标检测方法、系统、设备及存储介质，包括从给定的输入图片中提取proposals,选取前30个proposals作为带粘贴的patch块；获取的patch块粘贴到选取的背景图中，得到合成图，为预训练提供了准确的位置标注，提取下游待检测目标的色彩RGB值，在粘贴的patch块中随机选择一片区域将其改为与提取的色彩RGB值相应的颜色，优化了预训练目标检测中的分类能力，分别提取合成图的特征以及粘贴的patch块的多尺度特征，并将patch块的多尺度特征编码为objectquery;objectquery基于提取的合成图特征进行学习，并对学习后的objectquery进行类别和边界框预测，得到预测的集合，将预测的集合和真实的标注集合

CN116012658B

CN116012658B权利要求书1/2页

2

1.一种自监督预训练目标检测方法，其特征在于，包括以下步骤：

S1:给定输入图片，从给定的输入图片中提取proposals,选取前30个proposals作为待粘贴的patch块；

S2:从数据集中选择一张图作为背景图，将S1中获取的patch块粘贴到背景图中，得到合成图，提取下游待检测目标的色彩RGB值，在粘贴的patch块中随机选择一片区域将其改为与提取的色彩RGB值相应的颜色；

S3:分别提取合成图的特征以及合成图中粘贴的patch块的多尺度特征，并将patch块的多尺度特征编码为objectquery;

S4:objectquery基于提取的合成图特征进行学习，并对学习后的objectquery进行类别和边界框预测，得到预测的集合，将预测的集合和真实的标注集合进行匹配；

S4中，objectquery和合成图的特征输入至Transformer中学习，并在Transformer的解码器中自注意力模块引入为objectquery设计的注意力掩码。

2.根据权利要求1所述的一种自监督预训练目标检测方法，其特征在于，步骤S1包括以下步骤：

通过Selective-search算法提取proposals,具体为，对给定的输入图片进行分割获取一系列区域，按照设定的损失函数计算不同区域的相似度进行合并，按照相似度从高到底选取前30个proposals。

3.根据权利要求1所述的一种自监督预训练目标检测方法，其特征在于，步骤S2还包括以下步骤：

对获取的patch块进行水平翻转、改变亮度、改变对