基于置信度和非局部自相似滤波超分辨率重建.docVIP

基于置信度和非局部自相似滤波超分辨率重建 　　摘要：针对低分辨率深度图像在超分辨率重建中出现边缘细节模糊和振铃效应问题，提出了结合同场景彩色高分辨率图像，利用深度图像置信度和非局部自相似滤波的超分辨率重建算法。在联合双边上采样滤波器的基础上，结合深度图像置信度，去噪平滑图像，在非局部自相似滤波中结合同场景彩色图像的特征结构信息进行约束，可以很好减轻振铃效应，重建出高分辨率图像。实验结果表明，本文方法在去噪平滑图像的同时更好地保护边缘细节，避免振铃效应，取得不错效果。 　　关键词：深度图像，置信度，非局部自相似，滤波器，飞行时间 ，超分辨率 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）09-0194-03 　　随着数字成像技术的发展，计算机视觉被广泛研究。通过二维图像提取图像中物体的三维信息受外部环境影响较大，三维视觉[1-2]克服了二维视觉的许多问题，可以直接将前景与背景分开。3D ToF技术[3]不同于二维图像提取三维信息，而是通过调制的红外光在空气中的飞行时间，计算出目标体的距离。3D ToF技术改变了机器视觉行业，通过使用低成本CMOS像素面阵列和主动调制光源技术来提供三维场景的距离景深信息。不同于单点逐点扫描方式[4]，而是每个像素都能测量对应目标体的亮度和反射回来的调制光的到达时间，从而计算出该点对应的距离景深。该技术结构简单，容易使用，不依赖环境光，高准确性和高帧速率使得ToF相机应用更有吸引力。但是，由于目前硬件水平的影响，设备成像分辨率较低，不能更好地应用。通过深度图像的后期算法[5]处理来提高深度图像的质量具有重要意义，也是目前的研究热点。 　　基于自然图像成熟丰富的算法在深度图像超分辨率问题中运用，通过单幅或者多幅图像的重建高分辨率图像。Li Feng[6]等人提出基于UHMT先验模型是在小波变换HMT的先验模型上基于MAP估计的方法，算法的迭代优化过程计算量大；Li[7]等人提出基于最小二乘方法（LS）的边缘指导内插算法，该算法是运用最小二乘方法根据低分辨率图像与高分辨率图像的特征相似性来自适应的选择插值格式，较传统插值算法取得更好重建效果；Yang[8]等人在此基础上改进图像局部自相似性，结合小波域的投影算子的全局优化，提出了一种基于图像局部自相似性的超分辨率快速重构算法，提高了视觉效果和满意的峰值信噪比；Ra-jagopalan[9]等人根据深度图像满足马尔可夫随机场先验分布模型，结合最大后验概率方法，将MRF模型运用到深度图像超分辨率问题中。自然图像的方法都是基于初始低分辨率深度图像的内在信息进行重建，分辨率提升效果有限。通过构造序列深度图像，一方面对图像运动位移要求很高，另一方面构造飞行时间相机阵列代价较大，很难得到实际应用。 　　结合同场景彩色图像的方法是通过RGB-Depth系统的特征信息融合，发掘两者之间的内在联系，指导深度图像的重建。Bo[10]等人提取RGB图像特征梯度核描述子和Depth图像特征深度核描述子提高3D目标物体的识别；Hu[11]等人基于SIFT特征子的仿射不变性，提出一种基于多核学习的融合RGB特征和Depth特征的3D目标识别方法，解决类内差异和类间相似的3D目标识别问题；Kopf[12]和Buades[13]分别采用联合双边上采样滤波器和非局部权值滤波器的方法指导深度图像重建；Diehel等人[14]在马尔可夫随机场模型上建立同场景彩色图像和深度图像之间的联系；Yang[15]提出结合局部和非局部自适应权值滤波的深度图像超分辨率重建，取得更理性效果。结合彩色图像引导重建深度图像方法在深度不连续处受到一定程度滤波器核函数的影响，会导致过度平滑和模糊边缘细节，在彩色图像纹理丰富处易发生错误的映射，在深度图像普遍分辨率不高的情况下会带来振铃效应。非局部相似滤波考虑图像的结构相似性，可以更好地保留图像边缘细节，抑制振铃效应。非局部均值滤波主要思想是通过图像块相似性比较，通过找到与搜索窗的像素块匹配相似的其他像素参与滤波过程。 　　双边滤波器在去噪平滑图像的同时可以保护边缘细节，联合双边上采样滤波器结合彩色图像可以进一步约束图像。为了进一步提高重建效果，在平滑图像的同时保持边缘细节结构，避免振铃效应影响，本文在此基础上结合深度图像置信度和非局部相似性可以更好地重建图像。通过引入深度图像置信度可以进一步提高滤波效果，保护边缘细节特性，更好地平滑图像；同时，结合高分辨率彩色图像约束非局部滤波，可以更好地抑制振铃效应。通过实验可以得出，本文的优化算法在进一步提高图像平滑的同时更好地保护边缘细节特性，抑制纹理错误映射和振铃效应。 　　1 联合双边上采样滤波器 　　空间滤波器通过减小像素邻域之间的方差来衰减噪声。最终结果是更平滑