CN114611605B 一种关系网络小样本图像分类方法、系统、装置及介质 （华南理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114611605B(45)授权公告日2025.01.10

(21)申请号202210242390.8

(22)申请日2022.03.11

(65)同一申请的已公布的文献号申请公布号CN114611605A

(43)申请公布日2022.06.10

(73)专利权人华南理工大学

GO6N3/045(2023.01)

GO6N3/08(2023.01)

GO6V10/74(2022.01)

GO6V10/774(2022.01)

GO6V10/82(2022.01)

(56)对比文件

CN110020682A,2019.07.16

地址510641广东省广州市天河区五山路

381号

CN109961089A,2019.07.02审查员曹春晓

(72)发明人陈凌威罗荣华张德赋

(74)专利代理机构广州嘉权专利商标事务所有

限公司44205专利代理师郑宏谋

(51)Int.CI.

GO6V10/764(2022.01)

GO6N3/0464(2023.01)权利要求书2页说明书8页附图3页

(54)发明名称

一种关系网络小样本图像分类方法、系统、装置及介质

(57)摘要

CN114611605B本发明公开了一种关系网络小样本图像分类方法、系统、装置及介质，其中方法包括：划分数据集，在每个训练批次中，将数据集划分为训练集和测试集，训练集的样本标注有样本标签；采用嵌入模块提取数据集中图像的图片特征表示；利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示；根据任务相关的图片特征表示，以基于原学习的关系网络度量方式训练神经网络，采用训练后的神经网络进行图像分类。本发明通过注意力机制，将任务无关特征向量转化为任务相关的特征向量，具有考虑任务上下文信息、缩小类内距离的优点，更有利于进行后面的度量计算相似度得分，可广泛应用于计算机视觉

CN114611605B

划分数据集，在每个训练批次中，将数据集划分为训练集和测试集，训练集的样本标注有样本标签

采用嵌入模块提取数据集中图像的图片特征表示

由于嵌入模块提取的图片特征表示是任务无关型，利用自

注意力模块学习任务间的上下文信息，将任务无关的图片

特征表示转化为任务相关的图片特征表示

根据任务相关的图片特征表示，以基于原学习的关系网络

度量方式训练神经网络，采用训练后的神经网络进行图像

分类

S1

S2

S3

S4

CN114611605B权利要求书1/2页

2

1.一种关系网络小样本图像分类方法，其特征在于，包括以下步骤：

划分数据集，在每个训练批次中，将数据集划分为训练集和测试集，训练集的样本标注有样本标签；

采用嵌入模块提取数据集中图像的图片特征表示；

由于嵌入模块提取的图片特征表示是任务无关型，利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示；

根据任务相关的图片特征表示，以基于原学习的关系网络度量方式训练神经网络，采用训练后的神经网络进行图像分类；

所述嵌入模块采用残差网络来实现，所述残差网络包含4个依次连接基础模块，每个基础模块包含三个卷积小模块，在每个基础模块的输出端附加一个2×2最大池化层，在最后一个最大池化层的输出端附加一个2×2平均池化层；

将支持集Dsuport和查询集Duery中的图像数据输入嵌入模块f。中，获得相应的图片特征表示R,其中p=c×h×w,c、h和w分别相应地表示特征表示的通道数、高度和宽度；

所述利用自注意力模块学习任务间的上下文信息，将任务无关的图片特征表示转化为任务相关的图片特征表示，包括：

将嵌入模块输出的图片特征表示与三个预设的待训练矩阵相乘，获得查询向量d。、键向量d和值向量d;

根据查询向量d。和键向量d获取注意得分矩阵M,将值向量d乘以注意