基于多路径特征融合的遥感图像语义分割 (1).pdfVIP

基于多路径特征融合的遥感图像语义分割

摘要

遥感影像对城市规划、土地利用及地理信息系统建设等具有重要作用，随着深度学习

和卷积神经网络的不断发展，对精确和有效的遥感图像分割要求变得越来越强烈，而传统

的遥感图像分割主要依赖遥感图像的底层特征和纹理特征，在进行图像分割时精度不高、

鲁棒性低，无法满足遥感图像分割的准确性需求，因此本文开展对遥感图像语义分割算法

的课题研究。

为了更好地提升遥感图像分割的准确率，本文基于ResNet18基础网络搭建三种路径，

提出了一种基于多路径特征融合的遥感图像语义分割模型；基于该模型应用Vaihingen、

Potsdam、WHU等公开数据集进行遥感图像语义分割算法研究与试验；并采用全局准确率

GA、加权交并比WIoU和平均交并比MIoU等指标对试验模型的整体分割效果进行评价。

具体研究内容如下：（1）四种经典的深度分割模型试验与分析——基于FCN、SegNet、

DeepLabV3+(ResNet18)、DeepLabV3+(MobileNetV2)等四种模型在Vaihingen、Potsdam、

WHU建筑物等公开数据集进行试验，为验证本文所提出的多路径特征融合模型的有效性；

（2）多路径特征融合模型的构建与试验——基于ResNet18网络并结合空间信息路径、语

义信息路径和注意力路径进行模型搭建；其中空间信息路径使用高分辨率与低分辨率特征

相结合，语义信息路径使用空间金字塔，注意力路径使用通道注意力、空间注意力和金字

塔注意力；融合模块将不同路径所提取的特征进行融合；（3）多路径特征融合模型消融试

验与分析——为了验证模型的优越性，本文对所提出的多路径特征融合试验进行语义信息

路径与注意力路径的消融试验；（4）多路径特征融合模型空洞比率对比试验与分析——为

了进一步验证新模型的有效性，本文对金字塔模块的空洞比率进行试验，进一步探讨空洞

比率对新模型的影响。

试验结果包括：（1）本文所提出模型在三套数据集上，全局准确率比FCN网络、SegNet

网络、DeepLabV3+(ResNet18)网络、DeepLabV3+(MobileNetV2)网络平均分别高出

5.537%、1.428%、1.348%和2.670%；加权交并比相比于四种经典模型平均分别高出8.988%、

2.112%、2.539%和4.294%；平均交并比相比于四种经典模型平均分别高出10.361%、2.457%、

1.770%、5.274%。（2）在消融试验方面，本文所提出模型的全局准确率比试验1~试验6（消

融试验）分别高出0.453%、0.287%、0.393%、1.379%、0.329%和0.867%；加权交并比比

试验1~试验6分别高出1.369%、1.225%、0.936%、3.321%、0.825%、1.438%；平均交并

比比试验1~试验6分别高出1.205%、0.674%、2.162%、2.901%、2.574%、2.193%。（3）

在空洞比率对比试验方面，本文所提出模型比试验7（空洞比率对比试验）分割准确性好，

全局准确率、加权交并比、平均交并比比试验7分别高出0.183%、0.364%、1.182%。

试验结果表明：（1）本文所提出的新模型——多路径特征融合模型，分割效果好于FCN、

SegNet、DeepLabV3+(ResNet18)、DeepLabV3+(MobileNetV2)四种经典分割模型；（2）消

融试验方面，新模型中语义信息路径和注意力路径缺少任何一种都将会影响分割效果；（3）

空洞比率对比试验方面，新模型在仅改变空洞比率情况下，空洞比率较小的模型整体分割

效果不好，新模型空洞比率较大，进行语义分割时效果较好。本文所提出的基于多路径特

征融合模型分割效果优于经典网络，为遥感图像语义分割提供了一种新选择。

关键词：

语义分割，遥感图像，空间信息路径，语义信息路径，注意力路径，特征融合

SemanticSegmentationforRemotelySensedImageBasedonMulti-PathFeature

Fusion

Abstract