基于生成对抗网络的图像去雨方法研究.pdf

基于生成对抗网络的图像去雨方法研究

摘要

图像去雨问题的研究目标是去除雨图中的雨线，恢复干净的背景图像。户外拍摄的

图像受降雨天气影响容易产生失真模糊等现象，进而影响后续目标识别等高级计算机视

觉任务的执行性能。因此，图像去雨方法的研究具有重要的实际应用价值。针对图像去

雨问题，本文提出了基于生成对抗网络的图像去雨方法。本文主要的研究内容和创新点

如下：

为了解决在复杂场景中背景特征提取不足、图像细节模糊等问题，本文提出了基于

金字塔池化的条件式对抗去雨方法。该方法采用条件式生成对抗网络作为整体图像去雨

网络模型的基础结构。模型的生成网络结构设计加入了稀疏特征重激活密集连接和有效

通道注意力机制，增强了模型提取背景特征和生成干净背景图像的能力。金字塔池化模

块的设计使生成网络能够充分利用深层特征的全局信息，提升细节生成精度。模型的判

别网络结构设计采用了全局-局部双判别方式，使生成图像保持整体风格与局部细节的

一致性。通过进行验证实验和对比实验，该方法不仅具有良好的去雨效果，而且峰值信

噪比和结构相似度指标均有所提升，可以有效解决复杂场景中的图像去雨问题。

针对目前大多数图像去雨方法过度依赖合成雨图进行监督训练，且合成雨图与真实

雨图的数据分布差异较大导致模型的泛化性能较差的问题，本文提出了基于半监督学习

的循环式对抗去雨方法。该方法采用真实雨图和合成雨图进行半监督训练，利用循环式

生成对抗网络搭建图像去雨网络模型的基础结构。通过引入高斯模糊先验来约束模型在

真实雨图上的无监督训练。模型的判别网络采用多尺度结构设计，并且加入了谱归一化

操作，有利于模型训练稳定。通过与其他同类型的图像去雨方法进行对比，该方法在真

实雨图上具有更好的去雨视觉效果和泛化性。

关键字：图像去雨；生成对抗网络；金字塔池化；半监督学习

基于生成对抗网络的图像去雨方法研究

Abstract

Theresearchpurposeofimagederainingproblemistoremovetherainstreaksfromthe

rainyimageandrestoreacleanbackgroundimage.Rainyimagestakenoutdoorsaresusceptible

todistortionandblurringduetorainfall,whichaffectstheperformanceofsubsequenthigh-

levelcomputervisiontaskssuchasobjectrecognition.Therefore,imagederaininghas

importantresearchsignificanceandapplicationvalue.Inthesis,theimagederainingmethods

basedongenerativeadversarialnetworksareproposedtoaddresstheaboveproblems.Themain

researchworkandrelatedinnovationsofthethesisareasfollows:

Inordertosolvetheproblemsofweakbackgroundfeatureextractionabilityofcomplex

scenerainyimagesandblurreddetailsintherecoveredbackgroundimage,theimagederaining

methodbasedonpyramidpoolingandconditionalgenerativeadversarialnetworkisproposed

inthesis.Conditionalgenerativeadversarialnetworksareusedastheinfrastructu