基于改进UNet模型的图像去雨算法研究.pdfVIP

摘要

图像去雨是计算机视觉领域中的一个重要研究方向，旨在从受雨水干扰的图像中

去除雨纹，恢复清晰的背景信息。雨水在图像中通常表现为密集的条纹或斑点，这些

干扰不仅降低了图像的视觉质量，还可能影响后续的计算机视觉任务，如目标检测、

图像分割和场景理解等。因此，图像去雨技术在自动驾驶、视频监控和无人机图像处

理等实际应用中具有广泛的需求。尽管深度学习在图像去雨任务中取得了显著进展，

尤其是卷积神经网络（CNN）的应用，但现有方法在处理复杂雨纹分布时仍存在一些

局限性。在雨纹分布密集、方向多样，现有算法难以完全去除雨纹；当雨纹与背景纹

理相似时，网络可能无法准确区分雨纹和背景信息，导致去雨效果不理想。

为了克服上述问题，本文提出了两种去雨算法，分别从多阶段网络设计和多尺度

特征提取的角度提升去雨效果。UNet作为一种经典的编码器-解码器结构，在图像分

割和图像恢复任务中表现出色。本文在其基础上进行了针对性改进，以适应图像去雨

任务的需求。

（1）提出了一种基于双注意力密集残差收缩网络的图像去雨算法。该算法通过

使用多阶段的特征提取模块和多种注意力机制，增强了网络对雨纹的感知能力。网络

在编码器和解码器中采用多层级链接方式将各个编解码器链接提取单一尺度编解码

器需要的多尺度信息，从而捕获雨纹的局部细节和全局分布。使用密集残差收缩网络

将多层级链接特征提取所导致的无用特征置零。此外，通过通道注意力和空间注意力

机制，网络能够有针对性地提取有用信息，抑制背景区域的干扰，从而提升去雨效果。

SCSE注意力机制让网络专注于有用的通道，聚焦于雨纹分布密集的区域。实验结果

表明，该算法在Rain100H、Rain100L、Rain12和Rain800等公开数据集上均取得了

具有竞争力的性能，尤其是在处理复杂雨纹分布时表现出色。

（2）提出了一种基于多尺度宽域非局部网络的图像去雨算法。该算法将去雨任

务分解为多个阶段，每个阶段逐步去除雨纹，并通过多尺度特征补偿模块和通道监督

注意力模块增强网络的特征学习能力。每个阶段采用改进的UNet架构，逐步恢复图

像的清晰信息。多尺度特征补偿模块使用多种特征方式提取特征信息从而保留更多的

背景信息；而通道监督注意力模块则能将每个阶段的特征信息准确注入下一阶段，进

一步提升去雨效果；网络最后一层使用的非局部网络聚焦于原分辨率的图像，可以更

好的恢复背景信息。通过这种多阶段设计，网络能够逐步细化去雨结果，避免一次性

去除雨纹导致的细节丢失问题。实验结果表明，该算法不仅在Rain100H、Rain100L

和Test100等公开数据集上取得了优异的效果，还显著提升了去雨网络的背景恢复能

力。

关键词：UNet网络，图像去雨，双注意力机制，非局部注意力机制，密集残差收缩

网络，特征补偿

Abstract

Singleimagerainremovalisasignificantresearchdirectioninthe

fieldofcomputervision,aimingtoeliminaterainstreaksfromrain-

affectedimagesandrestoreclearbackgroundinformation.Raininimages

typicallymanifestsasdensestreaksorspots,whichdegradeimagequality

andimpactsubsequenttaskssuchasobjectdetection,imagesegmentation,

andsceneunderstanding.Despitenotableadvancementsindeeplearning,

particularlythroughtheapplicationofconvolutionalneuralnetworks

(CNNs),existingmethodsstillfacelimitationsinhandlingcomplexrain

streakdistributions.Challengesarisewhenrainstreaksare