CN115759205B 基于多模型协作对比学习的负样本采样方法 （华南理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115759205B(45)授权公告日2025.07.11

(21)申请号202211515939.2

(22)申请日2022.11.30

(65)同一申请的已公布的文献号申请公布号CN115759205A

(43)申请公布日2023.03.07

(73)专利权人华南理工大学

地址510640广东省广州市天河区五山路

381号

(72)发明人许林漪陈百基

GO6F18/22(2023.01)

(56)对比文件

CN114998960A,2022.09.02

US2018357501A1,2018.12.13审查员何健伦

(74)专利代理机构广州市华学知识产权代理有

限公司44245专利代理师冯炳辉

(51)Int.CI.

GO6N3/0464(2023.01)

GO6N3/08(2023.01)权利要求书3页说明书6页附图2页

(54)发明名称

基于多模型协作对比学习的负样本采样方法

(57)摘要

本发明公开了一种基于多模型协作对比学习的负样本采样方法，包括：1)构建多个对比学习模型并约束它们学习数据的不同特征子空间；

CN115759205B2)每个对比学习模型在自身特征空间使用潜在正样本识别算法挑选出潜在正样本集合；3)结合不同模型对潜在正样本识别结果，从候选负样本集合中剔除潜在正样本，筛选出初步的负样本集合；4)使用难负样本挖掘算法从初步的负样本集合挑选难负样本作为最终参与对比学习训练的负样本集合。本发明通过引入多个模型协作采样，能够消除因模型自身特征空间的偏差而引入采样偏差问题，更全面剔除负样本集合中的潜在

CN115759205B

构建

构建m(m≥2)个对比学习模型，并

从输入数据、模型参数和特征相似

度约束确保模型间的多样性

每个对比学习模型在各自特征空间识别出潜在正样本集合

结合所有对比学习模型挑选的潜在

正样本集合结果，筛选出初步负样

本集合

使用难负样本挖掘算法从初步负样本集合挑选难负样本最终参与训练

CN115759205B权利要求书1/3页

2

1.基于多模型协作对比学习的负样本采样方法，其特征在于，包括以下步骤：

1)构建两个或两个以上的对比学习模型，然后利用多样性约束方法确保不同模型能够学习到数据集的不同特征子空间；

2)每个对比学习模型在各自的特征空间内计算锚点样本与候选负样本集合的相似度，然后使用潜在正样本识别算法从候选负样本集合中挑选出潜在正样本集合；

3)结合不同模型挑选的潜在正样本集合得到最终正样本集合，从候选负样本集合中剔除最终正样本集，得到初步的负样本集；

4)使用难负样本挖掘算法从初步的负样本集中挑选难负样本作为最终参与对比学习训练的负样本集合。

2.根据权利要求1所述的基于多模型协作对比学习的负样本采样方法，其特征在于，在步骤1)中，构建m个对比学习模型，每个对比学习模型是由特征编码器和映射器组成，输入数据x经过数据增强之后，送入第i个对比学习模型得到对应的度量嵌入表示z?,即：

zx=hf(t(x)),i=1,2,…,m

式中，x为输入数据，zx为输入数据x对应的度量嵌入表示，h1(·)为第i个模型的映射器的表示空间函数，f1(·)为第i个模型的特征编码器的表示空间函数，t(·)表示数据增强函数，m为对比学习模型的总数量，m≥2;

为了确保不同的对比学习模型最终能学习到数据集不同的特征子空间，从以下方面确保不同对比学习模型之间能够具备多样性：

不同对比学习模型使用不同的数据增强变换，数据增强方法包括随机裁剪大小、随机水平翻转、随机改变图像属性和随机变成灰度图，由于数据增强方法具备随机性，因此对于同一个输入数据x,在输入到不同对比学习模型之前均应用一次数据增强方法，便能得到不同的数据增强变换结果；

不同对比学习模型在构建过程所使用的网络层参数和初始化方法不完全相同，对比学习模型的每一层参数包括了卷积核大小和个数、步长、补零模式，网络层权重初始化方式包括了均匀分布、正态分布、Xavier初始化和kaiming初始化；

为了进一步确保不同对比学习模型提取出