多模态多视角的光谱图像无监督重建方法研究.pdfVIP

多模态多视角的光谱图像无监督重建方法研究

摘要

高光谱图像（HSIs）因其丰富的光谱信息而在计算机视觉任务中得到广泛应用。但获

取高分辨率HSIs通常很困难，低分辨率限制了它们在图像分割和识别等方面的应用，因此

需要利用光谱重建技术来提高低分辨率HSIs的光谱分辨率。光谱融合通过算法估计高分辨

率光谱信息，但传统方法需要已知的成像退化参数或大量的训练数据，这对普通用户来说

不太友好。此外，三维光谱场的重建也面临挑战，因为传统的三维场景表达方法往往无法

充分表达场景中的光谱信息。与以往的通过RGB颜色来表达三维场景不同，三维场景中的

色彩信息仅通过RGB三种颜色表达往往被认为是不富足的，其中场景中大量的光谱信息被

丢失了，这使得还原场景物体在各种条件下的材质属性成为了难题。

本文针对以上问题，提出了基于多模态信息（低分辨率HSI和高分辨率RGB图像）的

二维光谱重建方法，无需已知成像退化参数和训练集即可完成高分辨率HSI的融合，并能

在仿真数据集和真实场景中得到泛化效果。同时，本文还提出了基于神经隐式场（Neural

RadianceFields，简称NeRF）的三维光谱重建框架，利用多视角信息和多个滤光片，仅通

过朴素的多视角三色RGB图像即可重建高质量、高分辨率的三维光谱场景，并能精确地还

原物体表面的反照率。本文的主要研究内容和贡献如下：

1）多模态光谱图像重建：本文在该章节提出了一种无监督盲方法，用于高分辨率高

光谱图像的融合重建。与现有方法相比，无需已知的退化模型或训练数据。方法利用了基

于物理的展开网络和位置编码的优势，实现了在HSI和RGB图像对上取得领先水平的重建

效果。同时，本方法能够相对准确地估计退化参数的隐式神经表示，从而保证数据保真度

和目标图像的深度先验信息。此外，该章的贡献还包括构建了一个高质量的数据集，可用

于训练和评估HSI融合任务。

2）多视角光谱场重建：在多视角光谱场重建领域，本文在该章提出了一种基于NeRF

的新方法。与现有方法不同的是，本方法只需要一台三色相机和多个透射率不重叠的滤光

片，而无需跨模态相机或其他设备。方法联合优化了退化参数的隐式神经表达，实现了在

真实场景中的高质量重建结果。该章的贡献还包括构建了一个真实场景的数据集，其中包

含多种光照条件下的多视角多滤光片退化的图像数据，为相关研究提供了通用的工具。

关键词：高光谱重建，多模态，多视角，无监督盲融合，NeRF

Researchonunsupervisedreconstructionmethodof

multimodalmulti-viewspectralimages

Abstract

Hyperspectralimages(HSIs)arewidelyusedincomputervisiontasksbecauseoftheirrich

spectralinformation.However,acquiringhigh-resolutionHSIsisoftendifficult,andtheirlow

resolutionlimitstheirapplicationsinimagesegmentationandrecognition,etc.Therefore,spectral

reconstructiontechniquesareneededtoimprovethespectralresolutionoflow-resolutionHSIs.

Spectralfusionestimateshigh-resolutionspectralinformationbyalgorithms,buttraditionalmethods

requireknownimagingdegradationparametersorlargeamountsoftrainingdata,whicharenotvery

user-friendlyforgeneralusers.Inadd