基于Transformer的遥感图像语义分割算法研究.pdf

基于Transformer的遥感图像语义分割算法研究

摘要

在遥感图像语义分割领域中，由于遥感图像成像复杂、不同地物样本分布差异大，

在这样的条件下对多种占幅比例不一的目标地物进行精确分割十分困难。同时，遥感图

像的边缘常常存在多种十分相似且密集的地物类别，这给遥感图像语义分割任务带来了

很大的干扰，很容易造成错误的像素级分类。因此，如何提升遥感图像的分割效果仍是

该领域的研究前沿与技术难点。

CBAMTransformer

为了解决这些问题，本文基于和提出了一种多重注意力引导的

算法，并构造了遥感图像语义分割网络模型CTransMAtt-Net，以完成遥感图像的语义分

割任务。针对遥感图像成像复杂、不同地物样本分布差异大的情况，为解决各地物类型

占幅比例不一而导致分割困难的问题，该网络模型提出了一种多头自注意力机制和卷积

块注意力模块相融合的方法，对长短距离内的目标地物进行特征提取，通过多头自注意

力机制增加了不同特征子空间中的编码表示信息，以增强该网络模型的表达能力，让其

能够基于全局上下文信息来捕获地物特征的关联，并借助了卷积块注意力模块的优势，

能够在轻量级的开销下增强对关键局部特征的关注能力。此外，针对遥感图像边缘中存

在过多相似地物的情况，为解决边缘细节处存在相似地物干扰的问题，该网络模型使用

了一种多头自注意力机制和渐进性上采样相结合的处理方式，通过借助多头自注意力机

制具有出色并行性的优势，对提取到的抽象特征与目标地物信息进行关联聚焦，在加快

分割速度的同时完成像素级分类。同时，该处理方式使用了卷积与双线性插值的交叉处

理操作，利用卷积的归纳偏置性作为双线性插值的误差补偿，尽可能地降低不同地物之

间的干扰，从而实现对图像边缘的精准预测。

此外，CTransMAtt-Net还利用了在线困难样本挖掘算法以实现训练优化。最终，本

AccuracyIoUF1-scorePSPNet

文在、和指标上对网络模型的性能进行了评估，相对于、

DeepLabv3+、DANet、DNLNet、PointRend、DPT和SETR这些主流的网络模型而言，

CTransMAtt-NetVaihingenPotsdam

本文提出的能够在与数据集上取得较高的分割精度。

关键词：语义分割;多头自注意力机制;卷积块注意力模块;在线困难样本挖掘

基于Transformer的遥感图像语义分割算法研究

ABSTRACT

Inthesemanticsegmentationofremotesensingimages,duetothecomplexityofremote

sensingimageimagingandthesignificantdifferencesinsampledistributionamongdifferent

groundobjects,itischallengingtoaccuratelysegmentmultipletargetgroundobjectswith

varyingproportionsundersuchconditions.Atthesametime,thereareoftenmultiplevery

similaranddensegroundfeaturecategoriesattheedgesofremotesensingimages.This

impedesthesemanticsegmentationtaskofremotesensingimagesandquicklyleadsto

incorrectpixel-levelclassification.Theref