图像超分辨率重建原理学习.docx

? ? ? ? ? 图像超分辨率重建原理学习 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 原文链接：/gwplovekimi/article/details目录 超分辨率（Super Resolution，SR） 传统的图像超分辨率重建技术简介 基于插值的图像超分 基于重建的图像超分辨率 基于学习的图像超分辨率 基于深度学习的图像超分辨率重建技术 两种常用的评价超分的指标——PSNR和SSIM SRCNN（Super-Resolution Convolutional Neural Network） FSRCNN（Fast Super-Resolution Convolutional Neural Networks） ESPCN（Efficient Sub-Pixel Convolutional Neural Network） VESPCN（Video Efficient Sub-Pixel Convolutional Neural Network） VDSR（VeryDeep Convolutional Networks） DRCN（Deeply-Recursive Convolutional Network） RED(very deep Residual Encoder-Decoder Networks) DRRN（Deep Recursive Residual Network） LapSRN（Laplacian PyramidSuper-Resolution Network） SRDenseNet SRGAN（SRResNet，super-resolution generative adversarial network） EDSR（enhanced deep super-resolution network） 参考材料 超分辨率（Super Resolution，SR） 超分辨率是计算机视觉的一个经典应用。SR是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像（说白了就是提高分辨率），在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。 超分分为以下两种： Image SR。只参考当前低分辨率图像，不依赖其他相关图像的超分辨率技术，称之为单幅图像的超分辨率（single image super resolution，SISR）。 Video SR。参考多幅图像或多个视频帧的超分辨率技术，称之为多帧视频/多图的超分辨率（multi-frame super resolution）。对于video SR，其核心思想就是用时间带宽换取空间分辨率。简单来讲，就是在无法得到一张超高分辨率的图像时，可以多取相邻几帧，然后将这一系列低分辨率的图像组成一张高分辨的图像。 一般来讲Video SR相比于Image SR具有更多的可参考信息，并具有更好的高分辨率视频图像的重建质量，但是其更高的计算复杂度也限制了其应用。本博文主要介绍SISR。SISR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。 传统的图像超分辨率重建技术简介 基于插值的图像超分 通过某个点周围若干个已知点的值，以及周围点和此点的位置关系，根据一定的公式，算出此点的值，就是插值法。对于如何把原图像的点摆放在新图中并确定具体坐标；未知的点计算时，需要周围多少个点参与，公式如何，如何计算，不同的方案选择，就是不同的插值算法。图像处理中，常用的插值算法有：最邻近元法,双线性内插法,三次内插法等等。 例如：现有一张分辨率为3 x 2的图片，原图每个像素点的亮度值是： 我们要把它变成分辨率为6 x 4的图片，把这6个已经知道的点，放在他们大概应该在新图的位置： 那么我们已经知道6 x 4新图中6个已知的点（绿色），下面只需要求剩余18个点（蓝色）的值即可。通过某个点周围若干个已知点的值，以及周围点和此点的位置关系，根据一定的公式，算出此点的值，就是插值法。如何把原图像的点摆放在新图中（确定具体坐标）；未知的点计算时，需要周围多少个点参与，公式如何。不同的方案选择，就是不同的插值算法。图像处理中，常用的插值算法有：最邻近元法,双线性内插法,三次内插法等等。但是实际上，通过这些插值算法，提升的图像细节有限，所以使用较少。通常，通过多幅图像之间的插值算法来重建是一个手段。另外，在视频超分辨重建中，通过在两个相邻帧间插值添加