面向方向深度神网络用于图像超分辨率.pdfVIP

面向方向的深度神经网络用于图像超分辨率

∗孙安顺，新，，†浙江大学机械

dudaway,zeweihe,assun,yangjx,sdcaoyl,caoyp@zju.edu.cn

浙江大学计算机科学与技术迈克尔·英·杨SUG‑场景理

学院解小组特文特大学

siliang@zju.edu.cnmichael.yang@utwente.nl

学术界和工业界的大量关注，

∗作者贡献相同

†通讯作者

，基于卷积神经网络（CNN）的方法在单图像

超分辨率（SISR）任务中取得了令人印象深刻的性

能，无论是在准确性还是视觉效果上。值得注意的是，

大多数SISR方法假设低分辨率（LR）图像是通过双三

次插值降采样获得的，因此它们在世界的LR图像上

的表现有限。在本文中，我们提出了一种新颖的方向感

知深度神经网络（OA‑DNN）模型，该模型集成了多个

方向特征提取和通道注意力模块（OAMs），以实现对

由单反（DSLR）相机拍摄的世界LR图像的良好超

分辨率（SR）性能。不同方向提取的方向感知特征通过

通道级注意力机制自适应地结合，生成更具区分性的特

征，用于高保真恢复图像细节。此外，我们通过逆像素

洗牌操作将输入图像重塑为更小的空间尺寸但更深的深

度，从而在不牺牲恢复精度的情况下加速训练/测试速

度。广泛的实验结果表明，我们的OA‑DNN模型在准

确性和速度之间实现了良好的平衡。扩展的OA‑DNN∗+

模型相比我们先前提交的版本进一步提高了0.18dB的

PSNR指标。代码将在后公开。

1.引言

单图像超分辨率（SISR）旨在从单一低分辨率（LR）

图像中恢复对应的高分辨率（HR）图像。SISR已经吸引了

近年来，这导致了诸如安全、自动驾驶和医疗1

率图像有时会由图像设备（例如，单反相机）自

分析等广泛应用。，基于卷积神经网络动放大。直接将先前的深度CNN模型（例如，

（CNN）的SISR方法通过学习大量HR和LR训EDSR[24],RDN[44]和RCAN[43]）应用于放大后的

练图像对之间的低频信号（对象语义）和高频信号低分辨率图像需要具有极大内存的图形处理单元

（对象细节）之间的映射关系，取得了令人印象深（GPU）。

刻的性能。为了解决上述问题，我们提出了一种新的方向感

知深度神经网络（OA‑DNN）模型，用于超分辨率重

建实际拍摄的低分辨率图像。所OA‑DNN模型

在大多数基于CNN的SISR方法中[14,20,21,

包含多个方向感知特征提取和通道注意模块（OA

36],，低分辨率（LR）训练图像通常是通过双三次

Ms），其中部署了三个精心设计的卷积层（即，

插值从高分辨率（HR）图像下采样生成的