基于多尺度上下文融合的室外场景语义分割.pdfVIP

摘要

语义分割是计算机视觉领域研究的一个热门话题，其在自动驾驶、医疗影像、遥感图像

等领域都发挥着重要的作用。语义分割技术从最开始的传统图像分割发展到现在基于深度学

习的端到端语义分割模型，突破了在分割精度上的瓶颈，然而，对于要求实时性语义分割的

场景来说，仅仅提高分割精度是远远不够的，在提高精度的同时还要保证分割速度，以满足

轻量级的实时性语义分割。实时性语义分割是自动驾驶系统等各种现实应用场景的关键步骤，

如何在保持高推理速度的同时保证高分割精度已成为实时性语义分割的一个具有挑战性的问

题。为此，本文提出了一种混合空洞分组网络用于实时性语义分割，不仅提高了图像分割的

准确率，还考虑了推理速度。本文主要的研究内容和工作如下：

(1)本文以构建轻量级实时性语义分割模型为目的，设计了一种混合空洞分组模块。为

了减少模型参数以加快推理速度，本文提出用分解卷积和深度可分离卷积来代替普通的二维

卷积，然而，简单地减少模型参数量可能会导致分割性能的下降，因此我们进一步引入空洞

卷积来提取多尺度空间信息。混合空洞分组模块可以看成是在深度方向上使用分解卷积和空

洞卷积，这不仅减少了模型参数量，提高了模型推理速度，并且能够提取局部和更多上下文

信息。

(2)考虑到轻量型网络很难像大型复杂的网络那样提取深层特征，同时在混合空洞分组

模块中使用了不同扩张率的空洞卷积来捕获多尺度的空间信息，因此，为了提取更多的通道

信息，进一步提高网络模型的特征表达能力，本文引入了轻量级通道注意力模块来捕获通道

间的信息相关性，在不显著增加模型参数量的情况下，有效地提升网络的分割精度。

(3)本文基于混合空洞分组模块和注意力模块设计了一种实时性语义分割网络。整个网

络分为编码器和解码器结构，编码器部分由混合空洞分组模块、注意力模块以及下采样模块

来提取图像的精细特征，解码器部分仅使用简单的上采样来恢复图像分辨率。在获得浅层特

征和深层高级语义信息之后，本文使用跳层连接来融合不同阶段的特征分支以改进分割精度。

为了验证本文方法有效性，我们在两个公共数据集上进行实验，Cityscapes和CamVid，

首先我们在Cityscapes数据集上进行消融实验来验证各模块的有效性；然后通过全局实验的

对比，表明我们所提出的方法实现了分割精度和推理速度的平衡。

关键词：实时性语义分割，分解卷积，深度可分离卷积，空洞卷积，通道注意力机制

ABSTRACT

Semanticsegmentationisahottopicinthefieldofcomputervisionresearch,playingan

importantroleinfieldssuchasautonomousdriving,medicalimages,andremotesensingimages.

Semanticsegmentationtechnologyhasdevelopedfromtheoriginaltraditionalimagesegmentation

tothecurrentend-to-endsemanticsegmentationmodelbasedondeeplearning,breakingthe

bottleneckinsegmentationaccuracy.However,forscenesthatrequirereal-timesemantic

segmentation,itisnotenoughtoonlyimprovesegmentationaccuracy.Whileimprovingaccuracy,it

isalsonecessarytoensuresegmentationspeedtomeetlightweightreal-timesemanticsegmentation.

Real-timesemanticsegmentationisacriticalstepforvariousreal-worldapplicationscenarioussuah

asautonomo