[数字视频处理 大连理工]立体图像和视频颜色校正.pdfVIP

1 引言 在现实生活中，有诸多因素会造成图像不清晰 ，诸如相机抖动、雾霾、噪声、成像设备 自身的缺陷等。而在这个信息大爆炸的时代 ，人们为获得更多的信息，因此对图像和视频分 辨率的要求越来越高。由于增强成像硬件设备分辨率成本较高，难以推广使用，计算机视觉 领域的专家们就提出了图像超分辨率算法。只要通过软件算法就可以将已有的低分辨率图像 转换成高分辨率图像。 针对不同数量的研究对象，图像超分辨率重建技术可以分为单帧图像超分辨率技术和 多帧图像（或视频）超分辨率技术。单帧图像超分辨率技术试图在不引入模糊的情况下，将 一张低分辨图像恢复成高分辨率图像；多帧图像（或视频）超分辨技术则是致力于融合来自 同一场景的低分辨图像序列的所有信息，以创建出一个改进的分辨率图像。超分辨率技术就 是利用低分辨率图像或其他不相干图像来预测高分辨率图像。作为图像处理和计算机视觉领 域中的一个基本研究方向 ，仍然有众多学者在不断钻研探究超分辨率重建技术 ，现已经成为 了一个重要的研究课题。 超分辨重建任务被塑造为通过融合低分辨率图像来恢复高分辨率图像的逆问题，基本重 建约束是将低分辨率图像形成模型应用于恢复的图像，这样一来恢复的图像应产生相同的低 分辨率图像。然而，由于在高分辨率到低分辨率图像的生成过程中丢失了许多信息，所以重 建问题严重不确定，并且解决方案不是唯一的。目前已经提出了各种方法来进一步规范问题。 例如，Trin 等人应用马尔科夫随机场和双边全变差等通用图像先验，利用最大后验概率 [1] （MAP ）来解决该病态问题 。但如果放大因子很大或者如果没有足够的低分辨率图像，那 么这种重建算法的性能就会迅速下降，其中克服这一困难的超分辨率方法是基于学习的方 法，它在预测低分辨率和高分辨率图像块之间的对应关系之前使用学习到的共生先验。文献 [2]提出了一种基于样例的学习策略，该策略适用于一般图像，其中通过置信度传播解决的 马尔可夫随机场（MRF ）学习低分辨率至高分辨率的预测。 [3]通过使用 Primal Sketch 先 验来扩展这种方法来增强模糊的边缘和棱角。尽管如此，上述方法通常需要数以百万计的高 分辨率和低分辨率补丁对的庞大数据库才能使数据库表现出足够的表现力。在 [4]中，作者 1 读万卷书 行万里路 采用了流形学习的 LLE [5]的哲学，假设高分辨率补丁空间中的两个流形与低分辨率补丁空间 相似。他们的算法将低分辨率补丁空间的局部几何图形映射到高分辨率补丁空间，生成高分 辨率补丁作为邻居的线性组合。使用这种策略，可以使用更小的训练数据库来表示更多的补 丁模式。但是，使用固定数量的 K 近邻进行重建通常会导致模糊效应，这是由于过度或不合 适造成的。像上述基于学习的方法一样，Yang 等人受稀疏表示理论的启发，提出的基于稀 疏编码的方法[6][7][8] ，不需要对高分辨率补丁进行任何学习，而是直接使用低分辨率训练补 丁。它确保了高分辨率信号之间的线性关系，从而可以从其低维投影中精确恢复。Zeyde 等 人[9]为了提高字典训练的效率，先用主成分分析对训练样本进行降维，再使用 K-SVD 算法 进行字典训练。Timofte 等人[10]提出了一种结合了稀疏字典和锚定邻域的回归方法，利用 全局回归或锚定邻域回归的方法让低分辨率图像块使用经过 KSVD 算法训练后的字典进行 重建，从而获得具有较高重建质量的高分辨率图像，能带来可观的计算提速。 近来深度学习在计算机视觉问题上表现优异，图像超分辨率重建问题也不例外。2014 年 Dong 等人[11]用一个简单的 3 层卷积神经网络模型(SRCNN)成功地将卷积神经网络引入 到超分辨率重建中，直接学习从低分辨率图像到高分辨率图像的端到端的非线性映射，取得 很好的效果。 在网络结构改进上，Kim 等人[12]提出了一个 20 层的深层卷积网络用来预测残差图像， 性能得到很大的提升。同年他们又建立一个基于深度递归卷积网络[13] ，共享隐层参数，大大 减少参数数量 ；为实现实时图像超分辨率，文献[14]提出了亚像素卷积层，其输出的特征通 道数是缩放倍数的平方，速度相当的快 ；2017 年出现的 LapSRN 是传统超分辨率做法与深 度学习的有机结合[15] ，拉普拉斯金字塔超分辨率网络（Lap