CN117975268B 基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法 （齐齐哈尔大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN117975268B(45)授权公告日2025.07.11

(21)申请号202410134030.5GO6V10/44(2022.01)

(22)申请日2024.01.31GO6V10/82(2022.01)GO6N3/0464(2023.01)

GO6N

GO6N3/048(2023.01)

申请公布号CN117975268A

(56)对比文件

(43)申请公布日2024.05.03CN117456263A,2024.01.26

(73)专利权人齐齐哈尔大学CN115205590A,2022.10.18

地址161006黑龙江省齐齐哈尔市建华区审查员刘晨曦

文化大街42号

(72)发明人潘海珠闫辉葛海淼

(74)专利代理机构哈尔滨市文洋专利代理事务所(普通合伙)23210

专利代理师王艳萍

(51)Int.CI.

GO6V20/10(2022.01)

GO6V10/764(2022.01)权利要求书3页说明书15页附图8页

(54)发明名称

基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法

(57)摘要

CN117975268B本发明涉及图像分类方法领域，步骤如下：先提出光谱和空间特征提取流，均包含混合卷积块和由Transformer组成的注意力模块；混合卷积块旨在挖掘基于局部依赖性的高分辨率的特征，注意力模块用于提取基于全局依赖性的光谱和空间通道中的关键特征；然后从SpeFES和SpaFES中分别导出光谱和空间特征标记；使用光谱-空间权重特征互补模块通过空间标记的光谱权重和光谱标记的空间权重来充分利用标记中的特征；最终，这些具有不同语义特征的特征标记被送入分类模块生成分类结果。本发明解决了大多数基于卷积神经网络和Transformer的方

CN117975268B

的问题。

CN117975268B权利要求书1/3页

2

1.基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于，该方法包括如下步骤：

步骤S1,高光谱图像的高分辨率和光谱-空间通道中的关键性特征提取，使用SpeFES和SpaFES分别进行光谱和空间特征提取；

所述SpeFES包括光谱混合卷积模块和由Transformer编码器组成的光谱注意力机制，且光谱混合卷积模块提取的高分辨率特征图被馈送到光谱注意力机制中；所述SpaFES包括由Transformer编码器组成的空间注意力机制和空间混合卷积模块，混合卷积模块使用简化3D卷积核；

所述混合卷积模块由五个卷积层组成，五个卷积层包括四个3D卷积层和一个3D转置卷积层，且3D转置卷积层位于其他四个3D卷积层的中间位置，且混合卷积模块的特征提取过程表达如下：

Xv+5=Xv+1+F[f(o(X);θ)]

f(σ(Xm+42);θ)=@(σ(Xm+2))*km+1+S+1

o(Xm+4)=X.+f(Xm+1;θ)+ε(Xm+2;0)+f(Xm+3;0);

其中Xm表示输入到第(m+1)层的3D立方体，km+1S?+1分别代表第(m+1)层的卷积核和步幅，f(X;θ)代表在X上的3D卷积操作，ε(X;θ)表示在X上的3D转置卷积操作；

所述光谱混合卷积模块和空间混合卷积模块处理后的特征图AspeR×b×W和Bpa∈R×b×还需分别进行Token化的预处理，获取输出通道为64的光谱Token和空间Token,然后将光谱Token和空间Token分别喂入光谱和空间注意力机制中，得到具有基于全局依赖