基于学习的数字图像超分辨率技术概述.docVIP

基于学习的数字图像超分辨率技术概述 　　摘 要：数字图像超分辨率技术就是从一幅或多幅已知图像中重建出一幅具有更高空间分辨率的图像。这种技术自产生以来便受到众多学者的亲睐，产生了许多的相关算法。就目前而言，研究的主流是基于学习的算法。基于学习的算法是从事先构建的学习库中去获得待重建图像的先验知识，再在先验知识的辅助下恢复出待重建图像的高频细节，从而取得较好的视觉效果。对基于学习的超分辨率重建算法进行系统介绍，总结其中还存在的问题，并预测了进一步研究的方向。 　　关键词：数字图像；超分辨率技术 　　中图分类号：TP391.41 　　图像是信息载体，是我们人类信息的主要来源。但是并非所有图像都如人意，就拿我们常见的数字图像来说，在信息的采集过程中，由于投备的硬件条件限制，拍摄过程中操作人员的素质，信息传输过程中信号的干扰等，都会造成信息的丢失，最终影响图像的质量。超分辨率重建技术是利用一幅或多幅低分辨图像的额外或互补信息来恢复出一幅具有更高分辨率的图像。这种技术可以打破图像在形成过程中的限制，得到具有较好的视觉效果。因此该技术在许多领域（如卫星侦察、数字高清等）都有着良好的应用前景。 　　超分辨率重建技术主要分为两大类：基于重建的方法和基于学习的方法。基于重建的方法是超分辨率技术发展早期的算法，这些算法计算相对简单，复杂度也较低，但是存在重建倍数的限制，目前更多是作为学习算法的辅助算法。 　　1 基于学习的超分辨率技术 　　在基于学习的超分辨率技术中，学习方法的通常作法是构建一个训练样本的学习库，在库中包含某种低分辨率图像与其对应的图像的映射关系，然后利用这种映射关系，求出测试样本图像对应的高频细节的最优解。由于学习库的引入，待重建低分辨率图像有更多的先验信息可以利用，因此，基于学习的重建方法能够比基于重建的方法取得更好的视觉效果和图像质量。基于学习的超分辨率技术最早是由freeman等[1]提出的，该方法一经提出迅速成为数字图像超分辨率技术研究领域的热点，吸引了大批专家学者参与其中。目前主流的基于学习的方法主要有基于范例学习的方法、LLE方法、虚幻脸方法和稀松表示法。 　　1.1 基于范例学习的方法 　　基于范例学习的方法是freeman等人[1，2]最先提出的，他们利用马尔可夫网络建立高低分辨率图像之间的映射关系。然后将高分辨率图像经过模糊平滑处理后下采样，得到对应的低分辨率图像，再将低分辨率图像通过双线性插值或三次插值来得到与高分辨率图像大小一致的图像，然后将它们分块，通过学习获得高分辨率块之间和高低分辨率块之间的变换关系，对于用于测试的低分辨率图像块，只要找到其在马尔可夫网络中的位置，根据马尔可夫网络的对应关系找到其对应的一些高分辨率块，再根据训练得到的变换关系计算出高频分量添加进去。 　　这种方法是基于学习方法中最早被提出来的，也是其他基于学习方法的基础，该方法相较于重建的方法能利用更多的高频信息，在放大倍数和重建质量上都有很大的提升，但是对于训练样本的选择要求较高，算法复杂度也大大提高，并且这种方法对噪声非常敏感。 　　1.2 领域嵌入法 　　Chang等[3]创造性地将流形学习方法引入超分辨率重建中，在该方法中，他们假定高低分辨率图像块在特征子空间中具有的相似的流形结构，待重建图像块通过在低分辨率图像块学习库寻找它的k近邻表示，然后用这些系数与这k个近邻对应的高维流形块加权得到高分辨率块。 　　领域嵌入法相较于基于例子的方法需要更少的训练样本，并且对噪声的敏感性也有所改善，但是领域嵌入方法的领域保持特性并不总是成立，所以这种方法需要选择合适的图像块的特征才能取得好的效果。 　　1.3 虚幻脸方法 　　虚幻脸方法最早是由baker和kanade[4]提出的，他们首次将超分辨率重建算法用于人脸这一特定领域，由于图像数据是人脸，可以较多的隐含先验信息使用，他们的算法中仅从学习库中选择与待重建块最相似的块作为输出，且在放大8倍的情况下取得了不错的效果。 　　虚幻脸方法使用了人脸这一重要的先验知识，在特征脸的帮助下使重建效果大幅提高，但是对于有丰富表情的人脸，重建质量还有待提高。 　　1.4 稀松表示法 　　稀松表示是由Yang等人[5]最新提出的图像超分辨率实现方法，这种方法是从训练库的图像中选择图像块组成一个过完备的字典，然后在这个过完备字典中利用线性规划方法求得待重建图像块的稀松表示，最后利用这组系数重建出高分辨率图像块。 　　稀松表示方法相较于领域嵌入方法来说，不用规定领域的大小，系数的多少是由线性规划求解得到的。但是该方法对于过完备字典的选择问题不易解决，随机选择重建质量不佳。 　　2 基于学习方法的总结和展望 　　基于学习的图像分辨率技术虽然打破了传统方法在放大倍数上