基于RGB-T的夜间交通场景图像语义分割技术研究与实现.pdfVIP

摘要

交通场景精准语义分割是自动驾驶环境感知关键技术之一。目前，虽然基于

深度学习的语义分割网络对光照良好的可见光图像分割精度已接近真值，但对于

夜间低照度交通环境分割效果尚不理想，严重影响了自动驾驶夜间行车安全。针

对此，本文利用热红外相机较少受光线限制的特性，提出融合可见光相机和热红

外相机的夜间交通场景语义分割算法，为自动驾驶全天时环境感知提供一种技术

方案。本文主要工作如下：

（1）研究了现有多光谱数据集的特点，构建了满足测试要求的新数据集

分析公开多光谱数据集的缺点，针对夜间多光谱图像数据集中验证集和测试

集中类别分布悬殊，研究并实现了非比例分配法对数据集中验证集和测试集的重

新分布；同时针对数据集中类别比例过少使模型训练学习相关特征不足的问题，

利用热红外和可见光传感器，采集夜间道路交通环境图像，制作完成满足测试要

求的新数据集。

（2）分析了现有语义分割模型的性能

从实验方面，对七种经典的语义分割模型SegNet、UNet、PSPNet、MFNet、

RTFNet和DMSNet对热红外图像分割性能进行了实验测试与分析，证明了热红

外图像信息有利于夜间图像分割，发现现有算法特征骨干网络对夜间图像物体

分割不完整与小目标物体难以分割问题，选用性能最好RTFNet算法为作为本文

可见光图像和热红外图像融合的基准模型，在此基础上进行相应的改进。

（3）提出了一种基于双层注意力残差的夜间图像语义分割模型

针对当前RTFNet算法无法有效分割小目标的问题，提出一种基于双层注意

力残差的夜间图像语义分割网络模型。首先，设计了一种新的残差注意模块，基

于该模块搭建骨干网络，改进瓶颈模块中恒等路径模块，增加信息的流入。同时

引入通道注意力，提高对夜间两模态的特征提取能力，解决物体轮廓分割不完整

问题。在此基础上，每个残差注意模块后加入改进的混合注意力机制模块，增强

模型对全局像素和局部像素的联系，进而提取出小目标物体。所提算法在原有基

础上平均分割准确率mAcc和平均交并比mIou分别提高了5.8%、8.8%。

（4）算法实车在线测试

为验证本文设计模型在实际工程中的可靠性，将模型移植到实验室自主研发

的校园自动接驳车上。受限于车载工控机显卡性能，将模型进行剪枝处理降低模

型参数，以满足车载平台算力。实验表明，剪枝处理后的算法在工控机上的运行

帧率为43.8帧/秒，满足夜间道路场景的自动驾驶语义分割任务。

关键词：语义分割，热红外图像，可见光图像，注意力机制，特征融合

ABSTRACT

Accuratesemanticsegmentationoftrafficscenesisoneofthekeytechnologiesfor

autonomousdrivingenvironmentperception.Atpresent,althoughthesemantic

segmentationnetworkbasedondeeplearningisclosetothetruevalueforthe

segmentationaccuracyofwell-litvisibleimages,thesegmentationeffectfornighttime

low-lighttrafficenvironmentisstillunsatisfactory,whichseriouslyaffectsthesafetyof

autonomousdrivingatnight.Toaddressthis,thispaperproposesasemantic

segmentationalgorithmfornighttimetrafficscenesbyfusingvisiblelightcamerasand

thermalinfraredcamerasusingthefeatureth