基于深度卷积网络的图像超分辨率译文董超案例.doc

基于深度卷积网络的图像超分辨率 1介绍 单一图像超分辨率(SR)[20],旨在恢复高分辨率图像从一个低分辨率图像,是计算机的一个经典问题愿景。这个问题本质上是不适定的因为多样性存在对于任何给定的低分辨率的解决方案像素。换句话说,它是一个欠定的逆问题,并不是唯一的解决方案。这样的通常由约束减轻问题解空间的先验信息。学习先验,最近主要是采用最先进的方法基于实例的[46]策略。这些方法要么利用内部相似性的图像[5],[13],[16],[19],[47],或者从外部学习映射函数低收入和高分辨率的范例对[2],[4],[6],[15],[23],[25],[37],[41],[42],[47],[48],[50],[51]。外部的基于基于实例的方法可以制定通用图像超分辨率,或者可以设计合适领域特定的任务,例如,人脸幻觉[30],[50],根据训练样本提供。 基于稀疏编码的方法[49],[50]老代表外部基于实例的方法之一。这涉及几个步骤的解决途径。首先,人口出现的重叠的块输入图像和预处理(如。,减去的意思是和归一化)。这些块然后编码由一个低分辨率的字典。稀疏的系数传入的高分辨率字典重建高分辨率块。重叠重建块聚合(如。通过加权平均)来产生最终的输出。这个途径通过基于最外部的实例的方法共享,特别注意学习和优化词典[2],[49]、[50]或构建有效的映射功能[25]、[41]、[42],[47]。然而,其余的途径已经很少优化或步骤考虑在一个统一的优化框架。 在本文中,我们表明,上述途径相当于深卷积神经网络[27](更多细节在3.2节)。出于这事实上,我们考虑一个卷积神经网络直接学习一个端到端的低收入和之间的映射高分辨率图像。我们的方法从根本上不同于现有外部基于实例的方法,在我们这没有明确学习词典[41],[49]、[50]或繁殖[2]、[4]为建模的块空间。这些都是隐式地实现通过隐藏层。此外,块提取和聚合也制定了卷积层,所以在优化。在我们的方法中,整个SR途径完全是通过学习,很少的前/后处理。 我们命名该模型超分辨率卷积神经网络(SRCNN)1。被提议的SRCNN有一些吸引人的属性。首先,它的结构是故意设计简单,然而, 相比之下最先进的基于实例的方法，提供了优越的准确性。 图1所示。该超分辨率卷积神经网络(SRCNN)超过双三次的基线通过几个训练迭代,并优于基于稀疏编码的方法(SC)[50]与温和培训。性能可以进一步提高更多的训练迭代。提供了更多的细节4.1.1节(Set5数据集和一个升级的因素3)。该方法提供了视觉吸引力重建图像。 图1显示了一个例子的比较。第二,中等数量的滤波器和层,我们的方法实现速度快为实际在线使用即使在一个CPU。我们的方法比基于实例的数量方法,因为它是完全前馈和不需要解决优化问题上使用。第三,实验表明,修复质量网络可以进一步改善，当(i)更大和更多不同的数据集，和/或当(2)一个更大的和更深入的模型被使用。相反,更大的数据集/模型可以对现有基于实例方法的挑战。此外,该网络可以应付三个通道的彩色图像同时实现超分辨率提高性能。 总的来说,本研究的贡献主要是在三个方面: 1)提出了一种完全卷积神经网络图像超分辨率。网络直接学习一个端到端的高低分辨率图像之间的映射,除了优化只有很少的前/后处理。 2)我们之间建立一个关系基于深度学习的SR法和传统基于稀疏编码的 SR方法。这种关系为网络结构的设计提供了指导。 3)我们证明深度学习是有用的经典计算机视觉的超限分辨问题,质量好,所能达到的水平速度。 提出了一种初步版本的这项工作早期的[11]。目前的工作增加了初始版本在重要的方面。首先,我们改善SRCNN引入大的滤波器大小的非线性映射通过添加非线性映射层,探索更深层次的结构层。其次,我们延长SRCNN处理三个颜色通道(YCbCr或RGB同时颜色空间)。实验中,我们证明,可以提高性能相比单通道网络。第三,大量的新被添加到分析和直观的解释最初的结果。我们也扩展原始实验从Set5[2]和Set14[51]测试图像BSD200[32](200个测试图像)。此外,我们与许多最近发表的方法和确认我们的模型仍然优于现有方法不同的评价指标。 2相关工作 2.1图像超分辨率 根据图像先验,单幅图片超分辨率算法可以分为四种类型：预测模型,基于边缘的方法,图像统计方法和基于块(或基于实例)的方法。这些方法已经彻底研究,评估在杨的工作[46]。其中,基于实例的方法实现的最先进的性能。 内部基于实例的方法利用自相似性特征并生成范例块输入图像。这是Glasner首次提出的工作[16],和几个改进的变异[13],[45]提出了加快实现。外部基于实例方法学习低/ 高分辨率块从外部数据集之间的映射。这些研究不同于如何学习一个紧凑的字典或多个空间来联系低/高