基于混合自注意力机制的城市场景语义分割算法研究.pdfVIP

摘要

基于混合自注意力机制的城市场景语义分割算法研究

语义分割任务要求对输入的图像标注其所有像素的类别信息。它是一种密集

型的分类任务。作为计算机视觉领域近些年来兴起的热门研究方向，语义分割技

术借着深度学习与硬件计算设备进步的东风快速地发展了起来，广泛地应用于智

能驾驶、医疗影像等领域之中。现实场景中，由于城市环境的复杂性，智能驾驶

应用的安全性与实时性的要求，此领域的语义分割技术在同时保证精度与推理速

度上面临着巨大的挑战。因此如何优化语义分割网络结构，提高网络的特征提取

能力、降低其高计算力的要求是目前研究的重点。本文以用于语义分割的全卷积

神经网络相关算法为研究基础，重点研究了使用注意力机制对语义分割网络精度

的提高效果。提出了基于混合自注意力机制的语义分割算法，在城市场景数据集

CityScapes上验证了它的效果。针对网络实时性差的问题，提出一种基于双流结

构改进的实时语义分割网络。本文主要内容如下所述：

（1）基于混合自注意力机制的语义分割网络：为了提高骨干特征提取网络的

特征提取能力，我们将混合注意力模块（CBAM，ConvolutionalBlockAttention

Module）融合进了ResNet18的各个单元中,让其拥有了自适应性的注意力权重学

习能力。为了提高解码器阶段的特征融合能力，我们将自注意力模块（SAM，Self-

AttentionModule）加入到了上采样的过程中。但是传统的Non-local操作在高分

辨率的特征图处理上需要十分巨大的显存与超长的推理时间。针对这个问题，我

们提出了一种基于像素聚集重组的自注意力模块，降低了自注意力模块的显存需

求，提高了其推理速度。降低了冗余计算的同时基本保证了自注意力模块的精度

提升效果。在经过注意力优化模块（ARM，AttentionRefinementModule）的优化

下融合多层特征产生了最终的输出。借此我们搭建了混合自注意力机制的语义分

割网络。在CityScapes数据集上MIoU达到了75.6%，FPS维持在了63。

（2）基于混合自注意力机制的实时语义分割网络：在实际场景中，对于语义

分割网络的实时性要求可能比准确度要求更高，于是我们借鉴了BiSeNet中双流

结构的设计，破除了传统的U型结构的设计，将原有的特征提取网络作为上下

文信息提取分支，额外引入了一条空间特征信息提取分支。并且将前文所提到的

多种注意力模型加入到网络中。减少了上采样的次数，使用特征融合模块（FFM，

FeatureFusionModule）融合了两个分支的信息。我们在CityScapes数据集进行

实验，取得了MIoU-74.1%、FPS-95的效果。相比于BiSeNet的MIoU指标提高

了1.8%，相比于前文所提出的网络MIoU虽然精度损失了1.5%，但是换来了

FPS-32帧的提升。我们也在CamVid数据集上进行了同样的测试，取得了MIoU-

68.3%、FPS-106的效果。

关键词：

深度学习，语义分割，CBAM，自注意力机制，像素聚集与重组

Abstract

SemanticSegmentationofCityScene

BasedonHybridSelf-AttentionMechanism

Semanticsegmentationisataskthatneedtolabelthecategoryinformationofall

pixelsoftheinputimage.Itisanintensiveclassificationtask.Asahotresearch

directionthathasemergedinthefieldofcomputervisioninrecentyears,Semantic

segmentationtechnologyhasdevelopedrapidlywiththedevelopmentofdeeplearnin