基于双状态递归网络图像超分辨率技术研究.pdfVIP

基于双状态递归网络的图像超分辨率

1∗2∗1†221†1

韩伟，常诗宇，刘鼎，余沫,迈克尔·威特布鲁克,托马斯·S·黄伊利诺伊大学

香槟分校2IBM研究院

{weihan3,dingliu2,t‑huang1}@,

shiyu.chang@,{yum,witbrock}@

摘要从低分辨率到高分辨率图像的映射。此外，增加网络深度

扩大了感受野的大小，提供了更多的上下文信息，这些信

近年来，图像超分辨率（SR）的发展得益于深度息可以用于重建缺失的高分辨率组件。第二个原则是添加

神经网络的快速进展。受这些最新发现的启发，我们注残差连接（全局[20],局部[21]或联合[35]）可以防止

意到许多最先进的深度SR架构可以重新表述为具有有梯度消失和梯度爆炸问题，有助于深层模型的训练。

限展开的单状态递归神经网络（RNN）。在本文中，我

们基于这种紧凑的RNN视图探索了新的SR结构，这引尽管这些最近的模型展示了令人鼓舞的结果，但

导我们设计了一种双状态模型，即双状态递归网络也存在一些缺点。一个主要问题是通过增加新层来增

（DSRN）。与在固定空间分辨率下操作的单状态模加模型深度会引入更多参数，从而增加了模型过拟合

型相比，DSRN同时利用低分辨率（LR）和高分辨率的可能性。同时，更大的模型需要更多的存储空间，

（HR）信号。通过延迟反馈，这两个状态之间双向交这在资源受限的环境中（例如移动系统）部署时是一

换递归信号（既从LR到HR，也从HR到LR）。在基个障碍。为了解决这个问题，受深层递归卷积网络

准数据集和最近的挑战中的大量定量和定性评估表明，（DRCN）[21]的启发，深层递归残差网络

所提出的DSRN在内存消耗和预测准确性方面均优于（DRRN）[35]在不同的残差单元之间共享权重，

现有算法。我们的方法代码已公开可用1。并以较少的参数实现了最先进的性能。

独立的努力[6,24,39]在神经架构设计方面的最新

研究表明，常用的深度结构可以使用递归神经网络

（RNN）更紧凑地表示。具体而言，Liao和

1.引言Poggio[24]证明了权重共享的残差神经网络

在单图像超分辨率（SR）问题中，目标是从单个（ResNet）[16]等同于一个浅层的RNN。受他们

低分辨率（LR）图像恢复高分辨率（HR）图像。近发现的启发，我们首先探索现有超分辨率算法的神经

年来，由于深度神经网络（DNNs）的快速发展，S架构与其紧凑的RNN表达之间的联系。我们注意

R性能得到了显著提升。特别是，卷积神经网络到，包括DRRN和DRCN在内的先前的超分辨率模

（CNNs）和残差学习[16]已被广泛应用于最近的许型具有递归计算和权重共享的特点，这些模型首先应

多用双三次插值将低分辨率图像放大到所需的分辨率。

SR工作中[10,12,20,21,22,25,35,38]。这使得

它们的模型结构