基于多模态特征融合的高光谱图像分类研究.pdf

哈尔滨理工大学电子信息硕士学位论文

基于多模态特征融合的高光谱图像

分类研究

摘要

随着遥感技术的发展，遥感成像呈现多样化的趋势。高光谱图像在空间分

辨率方面的不足，以及普遍存在的光谱混叠等问题使其在复杂场景下不能很好

地完成高精度分类。借助激光雷达数据准确的高程信息，可有效提升遥感地物

分类任务的性能。然而，对于高光谱图像与激光雷达数据协同分类，现有的特

征提取与融合方法过程相对独立，不能实现多层级信息的精细融合。同时忽视

了像素周围局部近邻信息的提取，导致互补信息的挖掘不充分。

针对上述问题，提出一种基于多模态特征融合的高光谱图像分类方法，用

于实现两种模态下的精细分类。主要研究内容如下：

首先，针对多模态特征提取与融合方法，利用注意力机制深度挖掘高光谱

图像的空间、光谱特征。基于交叉注意力的特征融合模块充分考虑高光谱图像

与激光雷达数据之间的互补信息，提取包含光谱、空间与高程信息的多模态特

征表示。采用密集连接的特征传递方式，实现两种模态的深层特征融合。

其次，针对高光谱图像未充分利用空间上下文信息的问题，通过对注意力

机制的改进，设计一种基于邻域信息聚合的空间特征提取方法。通过

Transformer模型捕捉高光谱图像的全局相关性，引入深度卷积捕捉其局部空间

信息，使模型提取到更具泛化性的空间信息。

最后，为了充分挖掘多模态数据之间的互补信息，对多模态特征融合方式

进行改进，在双分支特征融合上提出自适应特征加权方案。相较于传统的特征

融合方式，自适应特征加权能在训练过程中学习到最佳的权重分配方案，自动

平衡多模态特征的权重，提高模型对复杂场景下地物分类的鲁棒性。在不同场

景下的多模态遥感数据集上实验验证，所提的方法能实现高精度的地物分类任

务。

关键词高光谱图像分类；多模态特征融合；Transformer；交叉注意力机制

-I-

哈尔滨理工大学电子信息硕士学位论文

ResearchonHyperspectralImageClassification

BasedonMultimodalFeatureFusion

Abstract

Withthedevelopmentofremotesensingtechnology,remotesensingimaging

showsadiversifiedtrend.Thelackofspatialresolutionofhyperspectralimagesand

theubiquitousspectralaliasingproblemspreventthemfromcompletinghigh-

precisionclassificationincomplexscenes.Withthehelpofaccurateelevation

informationfromlidardata,theperformanceofremotesensingsurfaceobject

classificationtaskscanbeeffectivelyimproved.However,forcollaborative

classificationofhyperspectralimagesandlidardata,theexistingfeatureextraction

andfusionmethodsarerelativelyindependentinprocessandcannotachievefine

fusionofmul