CN116433548B 一种基于多级信息提取的高光谱与全色图像融合方法 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116433548B(45)授权公告日2025.07.08

(21)申请号202310400842.5

(22)申请日2023.04.14

(65)同一申请的已公布的文献号申请公布号CN116433548A

(43)申请公布日2023.07.14

(73)专利权人西安电子科技大学

地址710071陕西省西安市雁塔区太白南

路2号

(72)发明人马明明牛毅王丹李甫石光明

(74)专利代理机构西安智大知识产权代理事务

所61215专利代理师王晶

(51)Int.CI.

GO6T5/50(2006.01)

(56)对比文件

CN110428387A,2019.11.08CN115100075A,2022.09.23

审查员王永贵

权利要求书2页说明书6页附图1页

(54)发明名称

一种基于多级信息提取的高光谱与全色图像融合方法

(57)摘要

CN116433548B一种基于多级信息提取的高光谱与全色图像融合方法，包括以下步骤；(1)图像预处理，对高光谱图像对应的彩色图像进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像；采用均值不变约束对LR-HSI进行上采样操作，得到UP-HIS;(2)设计残差活性因子：(3)设计局部残差融合模块：(4)多级信息提取融合，根据残差活性因子计算局部残差融合模块的残差学习能力，确定局部残差融合模块个数；对所采用的UP-HSI为等间隔谱段抽取，最终输出重建的HR-HSI。本发明使用多级光谱信息和特征图批量共享一个隐藏层状态，相互感知每个通道图的平均信息，同时完成特征提取

CN116433548B

,

CN116433548B权利要求书1/2页

2

1.一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，包括以下步骤；

(1)图像预处理，对高空间分辨率低光谱分辨率的多光谱图像(HR-MSI)进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像(LR-HSI);采用均值不变约束对LR-HSI进行上采样操作，得到上采样的高分辨率高光谱图像UP-HSI;

(2)设计残差活性因子：

(3)设计局部残差融合模块：

(4)多级信息提取融合，根据残差活性因子计算局部残差融合模块的残差学习能力，确定局部残差融合模块个数；对所采用的UP-HSI等间隔谱段抽取，最终输出重建的HR-HIS;

所述步骤(2)具体为：

(2a)定义残差活性因子η如下：

其中x表示残差学习模块的输入特征，f(x)表示残差模块拟合的映射，定义x一范数与f(x)一范数的比值为残差活性因子；

(2b)进一步刻画残差模块的学习活性，将η刻画为0到1.0之间的数如下所示：

那么,当残差活性因子η越接近1.0附近时，残差模块的学习活性就越强，残差学习模块退化的风险就越低；

所述步骤(3)具体为：

(3a)第一个局部残差融合模块以HR-MSI为输入，经过卷积操作输出特征图0,其余的局部残差模块输出图像与HR-MSI在通道维度上级联后经过卷积操作输出特征图0;

(3b)将特征图0与UP-HSI在通道维度上级联，并采用通道平均机制，计算出各自通道的均值，然后经过一个共享隐藏状态的全连接神经网络，为每个通道输出一个小系数，最后各个通道与相应的小系数相乘，完成通道信息感知，输出特征图1和特征图2;

(3c)将特征图1和特征图2在通道维度上级联，经过卷积进行特征提取和卷积改变通道数，然后与相同通道数的特征图0进行级联，再次使用卷积完成特征融合，输出特征融合图像。

2.根据权利要求1所述的一种基于多级信息提取的高光谱与全色图像融合方法，其特征在于，所述步骤(1)具体为：

(1a)选取室内场景高光谱图像的CAVE数据集和真实场景高光谱图像的Harvard数据集，其中每组CAVE数据集包含高光谱图像HR-HSI且有对应的多光谱图像HR-MSI,每组Harvard数据集仅包含高光谱图像HR-HSI;

(1b)采用光谱响应曲线生成每组Harvard数据集高光谱图像对应的彩色图像(HR-MSI);

(1c)采用遥感领域中的WordsProtocol规则，首先使用高斯模糊核对HR-HSI进行滤波，然后在高光谱图像的行和列两个方向以步长为r获取像素得到低分辨率高光谱图像

CN11643