CN117746140B 基于提示词微调和特征重放的小样本类增量图像分类方法 （哈尔滨工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN117746140B(45)授权公告日2025.01.10

(21)申请号202311772256.X

(22)申请日2023.12.21

(65)同一申请的已公布的文献号申请公布号CN117746140A

(43)申请公布日2024.03.22

(73)专利权人哈尔滨工业大学

地址150001黑龙江省哈尔滨市南岗区西

大直街92号

GO6F18/22(2023.01)GO6V10/82(2022.01)GO6N3/045(2023.01)

(56)对比文件

CN117079024A,2023.11.17CN117011672A,2023.11.07审查员王锡魁

(72)发明人左旺孟黄梓桐陈致兴董伯文

(74)专利代理机构哈尔滨市松花江联合专利商标代理有限公司23213

专利代理师张利明

(51)Int.CI.

GO6V10/764(2022.01)

GO6N3/084(2023.01)权利要求书3页说明书9页附图2页

(54)发明名称

基于提示词微调和特征重放的小样本类增量图像分类方法

(57)摘要

CN117746140B一种基于提示词微调和特征重放的小样本类增量图像分类方法，属于计算机视觉领域中的小样本类增量图像分类领域。本发明针对现有基于纯视觉模型的小样本类增量图像分类方法分类能力差的问题。包括使用可学习提示词和类别名的拼接作为文本编码器的输入，利用图像特征和文本特征的匹配结果，以及真实标签计算交叉熵损失函数来优化可学习提示词；利用上一阶段训练好的提示词来初始化当前阶段的提示词，根据每个类别训练图片的特征，以及VAE输出的合成特征，来估计每个类别特征层面上的高斯分布；在当前阶段使用旧类别的特征高斯分布做虚

CN117746140B

提示词

提示词

文本编码器

图像

编码器

随机选取B

个旧类别

旧类别知识

apple新类财

ear,dog旧类别合成特征

可训临的不可训练的

损失函数

高斯分布

CN117746140B权利要求书1/3页

2

1.一种基于提示词微调和特征重放的小样本类增量图像分类方法，其特征在于包括，

建立CLIP分类模型，采用基类样本对CLIP分类模型进行基阶段训练后得到基类训练后CLIP分类模型，再依次采用不同小样本增量样本库中的增量样本对基类训练后CLIP分类模型进行增量阶段训练，得到增量阶段训练后CLIP分类模型，用于增量后图像分类；

由CLIP分类模型得到基类训练后CLIP分类模型的训练过程包括：

随机初始化获得可学习提示词前缀向量，与基类样本的N个类别向量分别进行拼接，获得N个完整提示文本，经文本编码器得到基阶段N个类别文本特征；

每个基类样本经图像编码器得到基类样本图像编码特征，分别计算每个基类样本图像编码特征与基阶段N个类别文本特征的余弦相似度分数，并结合每个基类样本的标签计算得到当前训练阶段交叉熵损失函数；在基阶段训练过程中，最小化交叉熵损失，利用反向传播算法对可学习提示词前缀向量进行优化，得到基阶段优化后提示词前缀向量；得到基类训练后CLIP分类模型；

由所有基类样本图像编码特征得到N个类别的基类样本特征级高斯分布及对应的基类高斯分布参数；存储N个基类高斯分布参数作为基类类别知识；

再由基类训练后CLIP分类模型得到增量阶段训练后CLIP分类模型的训练过程包括：

将基阶段优化后提示词前缀向量作为当前增量阶段的初始化提示词向量，与当前增量样本与基类样本组成的N1个类别向量分别进行拼接，再经文本编码器得到N1个类别的文本特征；

基于每个增量样本、N1个类别的文本特征和每个增量样本的标签计算得到当前训练阶段交叉熵损失函数；

由基类类别知识的N个基类高斯分布参数中随机采样B个基类高斯分布参数，从中采样基类样本图像编码特征，与对应的基类样本标签计算基类阶段交叉熵损失函数；

由当前训练阶段交叉熵损失函数和基类阶段交叉熵损失函数得到当前阶段最终交叉熵损失函数；在增量阶段练过程中，最小化当前阶段最终交叉熵损失函数，利用反向传播算法对当前阶段初始化提示词向量进行优化，得