学习Raw图像降噪与拜耳模式统一及保持增强技术.pdfVIP

学习RawImage降噪与拜耳模式统一及拜耳保持增强

11之211黄海斌1113,1111

23中佛罗里达大学

12

{liujiaming,wuqihao,xuqin,zhouyuqian,huanghaibin,wangchuan,caishaofan,fhq,wangjue}@

93

yuzhiwang@yf.ding@

1

0

2

l

u

J

在本文中，我们提出了基于DNN的原始图像降噪的

0

3新数据预处理和增强技术。与传统的RGB图像降噪相

比，在直接相机传感器读数上执行此任务带来了新的挑

]

V战，例如如何有效处理来自不同数据源的各种拜耳模

C式，以及随后如何对原始图像进行有效的数据增强。为

.

s了解决第一个问题，我们提出了一种拜耳模式统一

c

[（BayerUnify）方法来统一不同的拜耳模式。这使我

们能够充分利用异构数据集来训练单个降噪模型，而不

2

v是为每个模式训练一个模型。此外，虽然增强数据集对

5于提高模型泛化能力和性能至关重要，但我们发现通过

4

9适应为RGB图像设计的增强方法来修改原始图像是容易

2出错的。为此，我们提出了一种拜耳保留增强

1

.（BayerAug）方法作为原始图像增强的有效方法。结

4

0合这些数据处理技术与改进的U-Net，我们的方法在

9NTIRE2019图像降噪赛中实现了52.11的

1

:PSNR和0.9969的SSIM，展示了最先进的性能。我们的图1.我们方法示例：(a)拜耳模式统一和(b)保持拜

v

i代码可在耳模式的增强。我们的方法在不改变内容的情况下统一和增

X获取。强了拜耳原始图像，而不当的预处理或增强会破坏原始图像

r

a的空间关系，从而产生伪影。

1.引言

移动相机拍摄的图像可能因高水平的噪声而严重受损，

图像去噪是图像处理和计算机视觉中的一个基本问题，特别是在低光场景下。为了应对这一问题，已经提出了

从极其嘈杂的图像中恢复高质量的图像仍然是一个。当许多去噪方法，包括传统的NLM[6]和BM3D[10]方法

涉及到移动设备拍摄的图像时，这一问题可能会更加严重。

以及基于深度神经网络（DNN）的去噪模型

由于使用了相对低成本的传感器和镜头，移动设备拍摄的图

[26,9,31,19,28,23,27],，但它们在移动设备上的性能仍

像可能受到高水平噪声的严重影响，尤其是在低光环境下。

远未令人满意。

这项工作得到了国家重点研发计划（2018YFC0831700）的支，得益于公开的原始图像去噪数据集[1,8,4],，原始图像去

持。噪数据受到了越来越多的关注，并显示出有希望的结果[1,8,4],。

4321