针对单幅图像去雾的端到端系统1介绍.PDF

针对单幅图像去雾的端到端系统 摘要：单幅图像去雾是一具有挑战性的病态问题。现有的方法使用约束或先验来获取合理的去雾方 式。去雾的关键在于估计输入的含雾图像的大气透射率图。在这篇文章中，我们提出来一种可训练 的用于估计透射率的端到端系统，叫做去雾网络。去雾网络以含雾图像为输入，输出它的透射率图， 然后用透射率图通过大气散射模型来恢复成无雾图像。去雾网络采用了基于深度结构的卷积神经网 络，它的各个层都是特殊设计的，能够体现在图像去雾中已建立好的假设或先验。具体而言，最大 输出单元层是作特征提取的，能够生存几乎所有的与雾有关的特征。在去雾网络中，我们也提出了 一种新的非线性的激活函数，叫双边修正线性单元（BReLU ），它能够提高图像去雾的质量。我们在 去雾网络和现有的去雾方法间建立起来联系。在测试图像上的实验结果表明，去雾网络在保证效率 和易于使用的同时，比现有的方法表现出了更好的去雾性能。 关键词：去雾；图像复原；深度卷积神经网络；双边修正线性单元 1、介绍 雾是一种常见的大气现象。空气中的灰尘烟和其他颗粒都会降低大气的清晰度。在景物摄影领域， 光在大气中的透射率对远距离物体的成像尤为重要，因此雾带来了很多问题。由于光被大气中粒子 散射带来的摄影成像时物体在视觉效果上对比度的降低。因此，去雾工作在摄影领域和计算机视觉 领域，都有着很大的应用前景。 去雾是一个有挑战性的问题，因为雾的透射率取决于景深，而在不同的位置，景深也不一样。 各种图像增强技术已经被应用到了去雾的问题上，包括基于直方图的 【1】、基于对比度的【2 】和基 于饱和度的【3 】单张图像去雾。另外，人们也提出了使用多张图片或深度信息来去雾的方法。例如， 基于【4 】的偏振法，通过多张从不同偏振角度拍摄的图片来去雾。在【5】中，基于多约束的方法被 应用到了在不同天气条件下拍摄的同一场景的多张图片的去雾。基于景深的【6 】需要从用户的输入 或已知的3D 模型中得到景深信息。在实践中，利用景深或多张图片去雾并不总是可行的。 这几年由于使用了更好的假设和先验，单张图片去雾取得了很大的进步。尤其是在无雾图像的 局部对比度比有雾图像更大的假设前提下，【7 】提出来一种基于MRF 的局部对比度最大化的去雾方 法。虽然对比度最大化的方法可以获得比较好的去雾性能，但这种方法容易生成过饱和的图像。在 【8】中，提出了一种基于最小输入的独立成分分析 （ICA ）方法来除去彩色图像的雾，但是这种方 法很耗时，而且不能用于浓雾图像的去雾。受到暗光物体去除技术的启发，人们基于经验数据的使 用发现了暗通道先验【9 】的去雾方法。这些数据来自于无雾图像的实验，实验表明在大部分的图片 块中，至少有一个颜色通道有一些值很小的像素。利用暗通道先验，通过大气散射模型可以估计雾 的浓度和去除雾。然而，暗通道先验的去雾方法降低了天空的成像质量，而且计算量大。人们又提 出了一些改进算法来克服这些问题。为了提高去雾的质量，【10】采用阶乘的MRF 方法对图像进行 建模，估计得到更加准确的场景辐射。【11】提出了一种有效的正则化方法，通过探究图像内部的边 界约束来恢复无雾图像。为了提高计算效率，人们使用标准中值滤波【12】、双中值滤波【13】、引导 联合双边滤波【14】和引导图像滤【15】波来代替耗时的软抠图【16】步骤。在最近几年，人们在机 器学习框架下进行了与雾有关的先验知识的研究。【17】利用随机森林的方法组合了四种与雾有关的 特征来估计透射率。【18】基于颜色衰减先验针对有雾图像的景深估计创建了一个线性模型，并求通 过有监督的方式来学习这个模型的参数。尽管去雾领域已经有了很多成就，这些先进的方法都被相 似的与雾有关的先验或启发线索限制了，这些方法处理某些图像是是很低效的。 单张图像去雾是一项困难的视觉任务。相反的，人类的大脑能够快速地分辨出没有任何附加信 息的自然场景中有雾的区域。参照生物卷积神经网络在高阶视觉课题如图像分类【19】、人脸识别【20 】 和目标检测【21 】的成功应用，人们试图提出一种类似的基于生物学的模型来去雾。事实上，早就 有一些用于低阶视觉任务的图像复原或重建【22 】【23 】【24 】的基于深度学习方法的卷积神经网络 被提出来了。然而，这些方式都不能被直接应用到单张图像去雾中。 注意到除了全局的大气光照的估计外，去雾的关键是估计出准确的透射率图。为了达到这个目 标，我们提出了DehazeNet ，这是一个基于端到端系统的用于透射率估计的可训练的卷积神经网络。 DehazeNet 以单张有雾图像作为输入，输出它的透射率图，通过简单