深度图.docVIP

第十一章　深度图 　　获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一．场景中各点相对于摄象机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离．机器视觉系统获取场景深度图技术可分为被动测距传感和主动深度传感两大类．被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息．最一般的方法是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图．与此方法相类似的另一种方法是一个摄象机在不同空间位置上获取两幅或两幅以上图像，通过多幅图像的灰度信息和成象几何来生成深度图．深度信息还可以使用灰度图像的明暗特征、纹理特征、运动特征间接地估算．主动测距传感是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量．主动测距传感系统也称为测距成象系统（Rangefinder)．雷达测距系统和三角测距系统是两种最常用的两种主动测距传感系统．因此，主动测距传感和被动测距传感的主要区别在于视觉系统是否是通过增收自身发射的能量来测距。另外，我们还接触过两个概念：主动视觉和被动视觉。主动视觉是一种理论框架，与主动测距传感完全是两回事。主动视觉主要是研究通过主动地控制摄象机位置、方向、焦距、缩放、光圈、聚散度等参数，或广义地说，通过视觉和行为的结合来获得稳定的、实时的感知。我们将在最后一节介绍主动视觉。 11．1 　　最基本的双目立体几何关系如图11．1轴重合，摄像机之间在方向上的间距为基线距离．在这个模型中，场景中同一个特征点在两个摄象机图像平面上的成象位置是不同的．我们将场景中同一点在两个不同图像中的投影点称为共轭对，其中的一个投影点是另一个投影点的对应(correspondence)，求共轭对就是求解对应性问题．两幅图像重叠时的共轭对点的位置之差(共轭对点之间的距离)称为视差(disparity)，通过两个摄象机中心并且通过场景特征点的平面称为外极(epipolar)平面，外极平面与图像平面的交线称为外极线． 　　在图11．1 在左、右图像平面中的投影点分为和．不失一般性，假设坐标系原点与左透镜中心重合．比较相似三角形和，可得到下式： (11．1 　　同理，从相似三角形和，可得到下式： 　　 (11．2 　　合并以上两式，可得： 　 (11．3是焦距，是基线距离。 　　因此，各种场景点的深度恢复可以通过计算视差来实现．注意，由于数字图像的离散特性，视差值是一个整数．在实际中，可以使用一些特殊算法使视差计算精度达到子像素级．因此，对于一组给定的摄象机参数，提高场景点深度计算精度的有效途径是增长基线距离，即增大场景点对应的视差．然而这种大角度立体方法也带来了一些问题，主要的问题有： 随着基线距离的增加，两个摄象机的共同的可视范围减小 场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大． 由于透视投影引起的变形导致两个摄象机获取的两幅图像中不完全相同，这就给确定共轭对带来了困难． 在图11．1 　　在实际应用中经常遇到的情况是两个摄像机的光轴不平行，比如，在某些系统中，调节两个摄象机的位置和姿态，使得它们的光轴在空间中相交在某一点，如图11．2所示．在这种情况下，视差与光轴交角有关．对于任意一个光轴交角，在空间中总存在一个视差为零的表面．比这一表面远的物体，其视差大于零；反之，比这一表面近的物体，其视差小于零．因此，在一个空间区域中，其视差可被划分为三组： 这三组视差可用于解决匹配不确定问题． (a) (b) 图11．1 图11．2 　　摄像机光轴不平行的另一种系统是后面将要介绍的一种叫做会聚式(convergent)立体视觉系统（见图11．5）．这种系统不要求光轴严格地相交于空间一点．立体成象的最一般情况是一个运动摄像机连续获取场景图像，形成立体图像序列，或间隔一定距离的两个摄像机同时获取场景图像，形成立体图像对． 图11．3 图11．不 11．2 　　立体成象系统的一个不言而喻的假设是能够找到立体图像对中的共轭对，即求解对应问题．然而，对于实际的立体图像对，求解对应问题极富有挑战性，可以说是立体视觉最困难的一步．为了求解对应，人们已经建立了许多约束来减少对应点搜索范围，并最终确定正确的对应．下面我们将讨论几个最基本的约束，然后讨论边缘特征和区域特征在立体匹配中的应用． 11．2．