混合map网络的图像去雨方法.docxVIP

混合map网络的图像去雨方法 0 基于深度学习的图像去雨网络 随着人工智能的发展，各种户外场景下的高科技应用已经层出不穷，如自动驾驶、交通监控等。一般情况下, 这些处理图像问题的应用需要的输入图像是清晰干净的, 这样才能提取出正确的信息进行处理。然而现实生活中往往会存在种种干扰因素, 导致获取到的图像是退化的, 可视效果差, 包含的真实图像信息少, 无法经过处理得到好的结果, 其中雨是最常见的一项天气干扰。所以去雨问题的研究对于户外场景下的与图像相关的应用而言, 是具有重要价值的。 目前解决图像去雨问题的研究主要分为两类, 一类是从模型角度出发 最早提出利用模型进行图像去雨的是Kang等人 与应用模型解决去雨问题相比, 应用深度学习框架来解决去雨问题是近几年才开始兴起的研究。Fu等人 通过上述工作可以发现, 利用模型进行图像去雨带来的问题是, 无法平衡雨线去除效果与背景估计清晰程度之间的关系, 当雨线去除的相对干净时, 容易造成估计出的背景图像被平滑变得模糊。而基于深度学习思想构建不同目标的神经网络框架, 测试结果受训练数据分布影响, 而雨线分布收许多因素影响导致很难确定, 训练数据只能反映一部分的雨图情况, 所以很难泛化。但对比之下可以发现, 基于模型的算法一方面具有一定的泛化能力, 与数据无关, 能够解决雨线分布难以确定这一问题, 而基于深度学习的方法则一定程度上能够保证数据的本质特征。 针对图像去雨问题, 提出可学习的混合MAP (maximum a posterior) 网络, 综合考虑模型与网络各自的优势, 有效地将模型与网络相结合。具体思路为, 首先基于最大后验估计建立去雨问题的能量模型, 然后利用优化算法将模型分解为背景估计模型和雨线估计模型两部分, 由于背景估计模型与基本图像恢复问题图像去噪公式形式和目标相同, 因此利用去噪残差网络对该问题求解, 对于雨线估计模型, 利用高斯混合模型对雨线先验进行建模。这样一来, 不仅降低了雨线和背景之间的依赖程度, 而且使问题得到了简化, 此外, 利用去噪残差网络来解决背景估计部分将问题进一步简化。 1 根据最大恢复估计的图像去除 对于雨的生成模型, 为了简化模型以更好地解决去雨问题, 考虑线性组合 式中, O∈R 1.1 最大后验估计及其学习基 当前的图像恢复问题中, 基于概率的方法是一种通用手段, 一方面基于概率的方法能够有效地刻画变量之间的联系, 另一方面, 基于概率的方法易于转换变形, 从而充分利用已知变量来确定未知变量。本文使用概率方法中的最大后验估计来建立模型。 针对去雨问题, 基于最大后验估计的思想, 可以将问题理解为最大化以下公式 (假设背景图像的分布与雨线图像的分布独立) 也就是说, 研究目标是在已知观测图像O∈R 式中, i表示像素索引值。Φ (B) 表示背景图像的先验知识, Ψ (R) 表示雨线的先验知识。通常情况下, 背景层的先验知识可根据图像恢复问题的常用手段进行刻画, 如全变分 (TV) 模型 1.2 目标函数的迭代 传统的优化分裂算法实质上是将难于直接求解的优化问题, 通过转化将问题变为能够易于求解的一系列子问题, 该类方法是图像恢复问题中处理优化问题的常用手段。 半二次 (half-quadratic) 优化 拉格朗日乘子法 Plug-and-Play ADMM是在ADMM的基础上进行的形式上的变换, 是由Chan等人 通常图像恢复问题解决的是问题 式中, x表示目标变量, 即恢复出的清晰图像, f (x) 表示数据项, 与具体的图像恢复问题相关, g (x) 表示关于清晰图像先验知识的先验项, λ0用来衡量数据项与先验项之间的权重关系。 针对上述优化问题, 采用Plug-and-Play ADMM方法后的最终的迭代形式为 根据上述优化方法, 将式 (3) 中的变量B, R分别用辅助变量P, Q代替后变为 对式 (6) 采用Plug-and-Play ADMM方法后的迭代公式为 对于式 (7) , 其含义是对估计的雨线和背景在观测雨图下的校正, 由于是关于目标变量B, R的凸函数, 可直接计算梯度求解, 但由于该目标函数带有一个边界约束, 故采用带边界约束的L-BFGS算法进行求解。 对于式 (8) , 其含义是利用背景图像的先验知识对背景图像的估计, 分析发现, 对于式 (9) , 其含义是利用雨线的先验知识对雨线进行估计。在这一部分, 关键的部分在于雨线的先验知识的估计, 即式 (9) 的后一项Ψ (Q) , 本文为了更好地刻画学习雨线的先验知识, 采用高斯混合模型对不同的测试图像通过块操作采用EM算法对模型中的参数进行学习, 这样既避免了对大部分的雨线进行刻画, 又保证了结果的精确性。 1.3 背景模型的构建 在图像恢复问题中, 残