基于密集残差卷积神经网络的RGB图像高光谱恢复研究.pdf

摘要

高光谱成像技术是一种可以同时获取多个连续波长光谱信息的图像采集技术。它

能够捕获物体的复杂光谱特征，提供更加详细和精确的信息。该技术可以广泛应用于

各种极端条件下的观测遥感，例如植被水资源和土壤质量分析、生物医学分析等。此

外，随着计算机硬件的提升和算法的发展，深度学习技术在高光谱成像性能的提升上

创造了巨大的机会，但仍有局限性。例如，高光谱成像技术的数据存储和分析能力仍

需进一步提高；同时，成像设备的高昂价格也是限制该技术大规模应用的因素之一。

为了解决这些问题，本文从高光谱图像的恢复着手，其关键在于降低网络复杂度的同

时保障其特征提取和在真实数据上的泛化能力。与此同时，考虑到模型倾向于优先拟

合容易合成的低频分量会导致网络拟合效率较低，本文提出了一种基于密集残差卷积

神经网络的深度学习技术的方法，实现了从低成本的RGB图像中恢复高光谱图像，

并结合空间-光谱注意力和频域监督算法优化拟构建的网络；同时，实现了在嵌入式

开发板上的低成本RGB恢复高光谱解决方案。

主要工作如下：

（1）提出基于渐进式密集残差网络的高光谱图像恢复框架

在高光谱图像恢复的工作当中，鉴于RGB成像结果与高光谱图像具有较强的相

关性，本文引入密集连接网络和SRF加权模块设计了一款渐进式的高光谱图像恢复

框架，以增强网络对于图像特征的提取能力和泛化性能；同时，采用多段式级联架构

来减少图像信息的丢失，进而避免网络出现过拟合的问题。该框架为高光谱图像恢复

任务提供了快速、高质量的解决方案。定量和定性实验结果证明，该方法对比现有方

法有一定优势。取得了MRAE0.1944、RMSE=0.0371、PSNR30.4、SSIM0.9184，

相比前沿方法AWAN平均指标提升了约23.41%，相比EDSR提升了21.51%，相比

HRNet提升了约30.23%，相比HSCNN+提升了约33.51%，证明了算法的有效性。

（2）提出一种嵌入空间-光谱联合注意力模块和频域监督的网络优化算法

目前，大部分基于深度学习的高光谱图像恢复方法聚焦于直接学习空间-光谱域

之间的映射。然而，鉴于卷积神经网络优先拟合低频分量的特性，图像中的高频分量

往往被忽视。因此，本文在渐进式高光谱图像恢复框架的基础上，引入了空间-光谱联

合注意力机制和频域监督的策略，利用了空-谱域和频域的特征表达能力。通过特征

融合和自适应频域监督机制，本算法可以提升图像质量，并在定性和定量比较中展现

出卓越的视觉效果和恢复准确性。相对于以往的方法，能够生成高保真、清晰的图像，

并且能够保持均匀区域的空间平滑性。在相对较低的参数数量和计算量增加基础上，

进一步提高了算法的效率。在定量指标上取得了MRAE0.2243、RMSE=0.0343、

PSNR31.55、SSIM0.9173，相比第三章模型在增加少量参数的条件下，进一步提升

了约13.29%。

（3）实现了一种低成本的嵌入式RGB恢复高光谱数据解决方案

在视频分析领域，传统的RGB成像技术获取的视频无法满足实际的分析需求，

然而，现有的高光谱成像设备过于昂贵。为了解决以上问题，本文设计了一种低成本

的嵌入式RGB恢复高光谱的解决方案，该方案包括模型训练、压缩加速和部署等步

骤。具体而言，使用基于RGB恢复高光谱图像模型，并通过嵌入式量化推理部署，

实现模型在嵌入式硬件上的快速推理和重构高光谱数据的能力。在实际低照度场景的

视频采集实验中，验证了所提方法恢复的高光谱数据可以提高对低照度场景中的行人

响应能力，在人眼视锥细胞特别敏感的550-600nm波段可以帮助轻易区分行人和背

景。本文的模型和嵌入式解决方案成功实现了对低成本、实时高光谱数据恢复的需求。

在环境监测、安保防护和智能感知等领域有广泛的应用前景。

综上所述，本文通过低复杂度的渐进式网络模型对RGB成像结果实现了高分辨

率的恢复，并通过嵌入空间-光谱联合注意力模块和频域监督算法，进一步增强了网

络对于图像中高频分量的提取，提高了其在真实数据集上的泛化能力；此外，还通过

将该网络部署在RGB成像设备上，实现了高质量高速的高光谱图像恢复，对于实际

视频分析中低成本实时高分辨率成像方案的设计具有一定指导意义。

关键词：卷积神经网络；密集残差；