多媒体信息处理.docxVIP

多媒体信息处理总结PROJECT：深度图的优化论文题目：Ef?cient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps姓名：董有臣学号：M201271706 学院：电信系指导老师：喻莉深度图的优化——深度图修复的结构引导融合一、综述深度对于计算机视觉非常重要，因为它是理解真是场景的一种内核信息。随着计算机视觉应用的日益广泛一级自动化程度的进一步提高，人们对于计算机视觉系统的要求也越来越高。然而，传统的计算机视觉系统所处理的是光学图像，这种光学图像反应的是场景的光强也颜色信息，由于投影成像的原理，它失去了现实世界中的三维深度信息，并且因为从二维光学图像中恢复物体的深度信息的困难性，使得计算机视觉系统在这些应用领域受到很大的限制。近年来，随着激光测距技术的迅猛发展，直接包含物体深度信息的深度图像数据获取已经成为可能，基于深度信息的计算机视觉系统也随之引起人们的重视。深度成像传感器用来测量景物表面的三维坐标数据，它的输出称之为深度图像，深度图像与环境光照和阴影无关，它的像素点清晰地表达了景物表面的几何形状。从灰度图像中提取三维物体几何特征的方法，对景物的几何和物理特征都有特别的限制，与这些方法相比，深度图像可以直接利用三维信息，这就大大简化了三维物体的识别和定位问题。作为这种新型的计算机视觉系统的核心内容，深度图像处理方法的研究具有非常重要的意义。由于受到人类双眼系统的影响，传统的获取深度信息的方法都是基于多视图几何体的，最近几年，对于深度获取引进了一些新的经济设施，比如：时间飞行传感器，结构光，以及Kinect。继Kinect的产生之后，深度的获取变得相对容易了，对于计算机视觉应用，通过Kinect获取的深度图需要额外的处理来填补丢失的部分。然而，对于彩色图像中传统的修复方法并不能直接应用于深度图，因为没有足够的信息来对场景结构作出准确的判断。因此便提出了一种新的基于融合的修复方法来改善深度图，这种方法将传统的修复方法与最近研究的非局部滤波算法结合到一起。二、翻译1、基于融合的深度图修复 基于深度和彩色相机的几何关系，通过多视图几何体推导出了一个映射函数，由于队列较复杂，我们仅仅表示了垂直方向的映射函数：p=m(p’,d(p’)) （1）（其中:d(p’)表示深度像素p’，p代表彩色图像上的一个像素） 这个映射函数将深度图上的像素p’投影到彩色图像上为p，通过对投影在彩色图像上的深度图的重新采样得到了一个增广数据阵列{d(p),J(p)}。在这个增广阵列上，彩色信息对于所有的像素都是有效的，然而，对于像素p，深度信息却丢失了，因此，深度图的修复就是在知道深度和彩色像素的条件下，恢复深度信息丢失的部分。由于传统的对像素研究的图像修复是在没有额外信道信息的条件下进行的，所以通过Kinect获取深度图的修复可以被认为是部分修复。投影后，我们可以只用彩色图像坐标系统。在一个通用的修复结构中，我们能够通过已知的附近的像素q的深度d(q)来预测未知的像素p的深度d(p)，即： （2）其中：代表在像素点q，沿qp方向上的梯度。（2）式还可以写成。由于在图像获取的过程中会产生噪声，所以仅仅以一个参考像素来预测往往是不够的。最近在降噪方面的研究表明，非局部平均方案能够通过利用图像纹理的冗余来得到一个精确的估计，而且最近视觉图像修复的框架中也运用了这种方案。在这些基础的方法上，我们提出了以下深度图修复的框架： （3）其中N(p)代表临近p的一个以观测到深度信息的像素集，权重w(p,q)由几何距离，彩色结构的一致性以及深度平滑所决定。修复之后，利用一个简单的中值滤波器来更好的提高深度图的质量。修复框架（3）和基于快速进行的图像修复方法类似，区别就在于在选择集合N(p)和权重w(p,q)上。在基于快速进行的修复方法中，临近像素从蔓延的边界的窄带中选取，而在我们提出的方案中，初始时给定一个像素p，那么临近像素集N(p)就由射线的八个方向上得到，如图1，图1说明了临近像素集N(p)的结构，中心就是参考像素，临近像素在八个方向上搜索，如果深度信息是有效的，则这个像素将被添加到像素集N(p)中。图1通常情况下，一个深度图要比相应的彩色图更加平滑，因为物体表面有大量的纹理，而深度图在纹理边缘时连续的，尤其是对于室内场景来说，因此，相比于彩色图像，深度图(4)式中的一阶泰勒展开式获得更大的临近区域，所以在搜索相邻像素形成像素集N(p)的过程中，作为相邻像素p,能够使用一个大的区域。因此，对于一个窄的修复区域，临近像素集就会越出此区域。决策的难点在于深度边缘也是源于物体表面的连续性，如果仅仅利用深度曲线是很难解决这个难题的。对于像素p的修复，考虑到几个因素，尤其是彩色图像提供的结构信