第七章计算机视觉的三维感知.pptVIP

第七章 计算机视觉的三维感知 获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一。场景中各点相对于摄象机的距离可用深度图来表示，即深度图中的每一个象素值表示场景中某一点与摄象机之间的距离。计算机视觉系统获取深度图的方法可分为两类： （1）被动测距传感 （2）主动测距传感 被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数（即灰度图象），然后在这些图象的基础上恢复场景的深度信息。 主动测距传感是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量。 主动测距传感与被动测距传感的主要区别在于视觉系统是否是通过增收自身发射的能量来测距。 7.1 立体视觉 一、概述 立体视觉或双目立体视觉（Stereo或binocular Vision），或简称为体视。体视是人类获取环境三维信息的主要途径。 人类视觉系统 体视可经受各种干扰， 在各种光照条件和光度学及几何学畸变的条件下仍能可靠地提供立体信息。体视可经受对比度的变化，在一幅图相对于另一幅图有明显的模糊或扩展时，仍能工作良好。 体视的处理是快速和实时的，并能很好地处理物体运动的情况 体视对深度信息检测的分辨率很高。 理想条件（孤立边缘）下能可靠地分辨小于1秒弧的视差。这相当于在1米的观察距离上确定大约相距0.8毫米的两个特征的相对深度，或在50厘米远处的0.2毫米的相对深度。 1、工作原理 d ---P点距透镜中心的距离d ?＋? ---视差（disparity） f --透镜的焦距， b --两透镜中心之间的距离（基线距离） 由上式可知，对于一组给定的摄象机参数，提高场景点深度计算精度的有效途径是增长基线距离b，即增大场景点对应的视差。同时也带来一些问题，主要有： （1）随着基线距离的增加，两个摄象机的共同可视范围减小； （2）场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会也增大； （3）由于透视投影引起的变形导致两个摄象机获取的两幅图象中不完全相同，这就给确定共轭对带来了困难。 外极线几何（Epipolar geometry) 外极线几何（Epipolar geometry) 外极面(Epipolar plans) 所有通过二个摄像机光心的平面 每个空间点有一个外极面 外极线 (Epipolar lines) 外极面与图像的交线 外极面上的空间点投影到每个图像平面中的外极线上 外极点（ Epipoles) 每个图像中的外极线都通过该图像中的外极点 外极点与另一个摄像机的光心的投影对应 立体视觉摄像机的光轴平行时外极点在无穷远处 外极线--如果已知空间点在一个图象平面中的成象点要寻找在另一图象平面中的对应点时，只需沿此图象平面中的外极线搜索即可 图示系统中，视差与光轴交角有关。对于任一光轴交角，在空间中总存在一个视差为零的表面。比这一表面远的物体，其视差大于零；比这一表面近的物体，其视差小于零。这三组视差可用于解决匹配不确定问题。 距离和深度 距离是指从观察者到物体的客观实际距离； 深度（depth）是指由观察者感觉到的主观距离，通常是测量相对于定位点或某个空间点的距离。 立体视觉处理的组成： 寻找在两幅图象中都便于区分的特征，或用于匹配的基元（primitive） 把左、右两幅图象中的有关特征进行匹配，即解决特征匹配的方法问题 确定摄象机的相对几何位置和有关参数，即摄象机的校准（Calibration） 根据视差计算成象物体相对摄象机的距离 深度信息内插。 （即：摄象机模型、特征提取、特征匹配、视差和深度计算、 深度信息内插五部分） 上图是由两个摄象机得到的真实图象对。立体重建的关键是特征点匹配，从左图中任取一点p1，计算机如何找到在右图中与它的对应点p2。即匹配问题。 2、匹配基元的选择 搜索对应点时的多义性的解决 1.在单幅图象作预处理时通过抽取图象局部结构较为丰富的描述来减少错误对应的可能性 2.在两幅图的对应点间作匹配时应用选择性规则来限制搜索空间 匹配基元的类型 1. 在所有图象点上抽取的量测: 这类匹配基元一般是在每个象素位置处都产生一个描述。这些特征表示图象中的局部结构状态.属于这类的匹配基元有以下几种： (1) 象素灰度 (2) 局部区域的灰度函数。在各种大小窗口中求得的灰度分布的导数可用于产生描述各点周围结构的矢量 (3) 卷积图象的符号. 把图象与各种大小的算子卷积后，图象中各点的符号可作为原始图象特征的描述。 2. 图象特征 这种匹配基元较为符号化，它检测图象中包含丰富信息的结构所在的位置，例如图象中的边缘，这些边缘可能与景物中表面之间的边界相对应。与象素相比图象特征数量较少 (1) 卷积图象中的过零点。这种方法是由Marr和P