基于注意力与迭代对比网络的半监督遥感建筑图像分割研究.pdfVIP

基于注意力与迭代对比网络的半监督遥感建筑图像分割研究

研究生姓名：丁伟伟导师姓名：黄汉明教授

专业：计算机科学与技术研究方向：图像处理年级：2021级

摘要

遥感建筑图像在多个领域和应用中扮演着至关重要的角色，它们为城市规划、环

境监测、灾害管理、人口统计学研究以及国土安全等提供宝贵的数据，因此对遥感建

筑图像进行分析也成为一项重要的任务。遥感建筑图像的语义分割任务则是从遥感图

像中识别并分割出建筑物结构的过程，以生成图像中所有建筑物形状和其位置，该任

务可以为城市规划和资源管理等方面提供重要的数据支持，例如，可以评估建筑物密

度，监测城市扩张，优化交通道路等。原先基于传统的分割方法在提取建筑物任务中

取得一定的分割效果，但是随着遥感技术的快速发展与城市不断扩张，目前的遥感图

像也越来越复杂，所包含的信息也更多，传统分割方法的效果也不尽人意。随着深度

学习技术的快速发展，卷积神经网络（CNN）也逐渐应用于遥感建筑图像的语义分割

任务中，CNN通过提取不同层次的遥感建筑图像特征，进而更加高效，更加准确的

分割遥感图像，从中提取建筑物特征。但由于遥感图像中包含复杂的背景，使得传统

的基于CNN的模型难以区分建筑物与非建筑物区域，并且由于遥感建筑图像数据集

标注困难，耗费昂贵，使用全监督方法难以进行模型训练。因此本文以基于深度学习

的方法从遥感建筑图像中快速，高效，准确的提取建筑物，主要研究内容有：

(1)针对遥感图像背景复杂，尤其包含了树木，道路，水体，植被等多种元素，

造成建筑物与非建筑物背景特征相似，使得模型难以区分建筑物和非建筑物的问题，

本文提出结合scSE注意力机制以及UNet3Plus网络结构，基于生成对抗网络构建

GAN-SCUNet3网络模型的解决方法。具体为利用scSE注意力机制，保证网络模型关

注遥感图像中的建筑物部分，通过使用UNet3Plus作为主干网络，引入跳跃连接和多

级特征融合策略，从而能有效地处理多尺度的特征信息和复杂的图像细节，加强特征

在网络中的传递，从而提高分割精度。最后使用生成对抗网络的学习策略，进一步提

高了模型的泛化能力。实验结果表明，本文所提出的GAN-SCUNet3网络有更好的分

割性能。

(2)针对高分辨率遥感建筑图像数据集标注困难，耗费昂贵的问题，以及为进一

步优化所提出分割网络，本文提出基于注意力机制的分割网络，并使用迭代对比网络

进行半监督学习，从而减少对于有标签数据集的依赖。具体方法为首先设计一个融合

轻量级的ECA注意力模块以及CA注意力机制的Attention模块，使用跳跃连接的方

式，将其与UNet3Plus网络相连接从而组成分割网络，使网络能够更加专注于遥感图

像中的建筑物部分，抑制非建筑区域，并在提升模型性能的同时减少了计算量和模型

的复杂度；其次设计一个用于半监督训练的迭代对比网络，从而减少网络模型对于标

签数据集的依赖，使得模型能够使用较少的标签数据集进行模型训练，得到较优的分

割效果。

关键词：深度学习；语义分割；遥感图像；注意力机制；GAN-SCUNet3网络；半监

督学习

ResearchonSemi-supervisedRemoteSensingBuildingImage

SegmentationUsingAttentionandIterativeContrastive

Networks

Graduatestudent:WeiWeiDing

Supervisor:Prof.HanMingHuang

Major:ComputerScienceandTenchnology

Researchdirection:ImageProcessing

Grade:2021

Abstract

Remotesensingbuildingimagesplayacrucialroleinmultiplefieldsandapplications,

providingvaluable