第十一章 - Read.PPT

1.立体成像 （3）基于区域相关性的立体匹配 南京航空航天大学 自动化学院 第 11 章 深度图（Depth Map） 获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一．场景中各点相对于摄象机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离．机器视觉系统获取场景深度图技术可分为被动测距传感和主动测距传感两大类． 被动测距传感:视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息． 主动测距传感:视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量．主动测距传感系统也称为测距成象系统（Rangefinder)． 外极平面 外极线 共轭对 视差 (disparity) 图11．1双目立体视觉几何模型 假设坐标系原点与左透镜中心重合。F是焦距，B是基线距离。 提高精度的措施是增大基线距离。产生的问题：随着基线距离的增加，两个摄象机的共同的可视范围减小；场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大；由于透视投影引起的变形导致两个摄象机获取的两幅图像中不完全相同，这就给确定共轭对带来了困难． 立体成象的最一般情况：一个运动摄像机连续获取场景图像，形成立体图像序列，或间隔一定距离的两个摄像机同时获取场景图像，形成立体图像对。 2. 立体匹配的基本方法 立体成象系统的一个不言而喻的假设是能够找到立体图像对中的共轭对，即求解对应问题．然而，对于实际的立体图像对，求解对应问题极富有挑战性，可以说是立体视觉最困难的一步．为了求解对应，人们已经建立了许多约束来减少对应点搜索范围，并最终确定正确的对应． （1） 立体匹配的基本约束 外极线约束 图11.4 空间某一距离区间内的一条直线段对应外极线上的一个有限区间 一致性约束 是参考摄像机的图象函数 立体视觉通常由两个或两个以上摄像机组成，各摄像机的特性一般是不同的．这样，场景中对应点处的光强可能相差太大，直接进行相似性匹配，得到的匹配值变化太大．因此，在进行匹配前，必须对图像进行规范化处理(Normalization)． 相似估价函数： 唯一性约束：一般情况下，一幅图像(左或右)上的每一个特征点只能与另一幅图像上的唯一一个特征对应。 连续性约束：物体表面一般都是光滑的，因此物体表面上各点在图像上的投影也是连续的，它们的视差也是连续的．比如，物体上非常接近的两点，其视差也十分接近，因为其深度值不会相差很大。 （2）基于边缘的立体匹配 在某一行上计算各边缘的位置． 通过比较边缘的方向和强度粗略地进行边缘匹配． 通过在精细尺度上进行匹配，可以得到视差估计． 水平边缘无法进行匹配！ 在立体图像对中识别兴趣点(interesting point)，而后使用区域相关法来匹配两幅图像中相对应的点． 兴趣点计算公式如下： 在以某一点为中心的窗函数中，计算其在不同方向上的变化量是这些方向上点的差异性的最好测度。S表示窗函数中的所有像素 。 特征点匹配 一旦在两幅图像中确定特征后，则可以使用许多不同方法进行特征匹配．一种简单的方法是计算一幅图像以某一特征点为中心的一个小窗函数内的像素与另一幅图像中各个潜在对应特征点为中心的同样的小窗函数的像素之间的相关值．具有最大相关值的特征就是匹配特征．很明显，只有满足外极线约束的点才能是匹配点．考虑到垂直视差的存在，应将外极线邻近的特征点也包括在潜在的匹配特征集中． 考虑两幅图像 f1和 f2．设待匹配的候选特征点对的视差为 ，则以特征点为中心的区域之间相似性测度可由相关系数 定义为： 这里的 和 是被匹配的两个区域中的所有像素灰度平均值，和式符号是在以特征点为中心的小窗函数中的所有像素上进行的。 在每一个像素上使用阈值化处理后的具有正负符号的梯度幅值，而不是图像灰度值，可以改善相关性的计算精度． 实现过程：计算未平滑的两幅图像中的每个像素的梯度幅值，然后使用两个阈值，一个大于0，另一个小于0，将这些值映射到三个值．这样图像就被转换为波浪起伏阵列，可以产生更灵敏的相关值． 3. 多基线立体成象 一幅图像上的每一个特征点只能与另一幅图像上的唯一一个特征对应，通常将这一性质称为特征的唯一性约束．在实际中，由于大多数特征点不是十分明显，特别是重复纹理的出现，常常会产生对应多义性(ambiguity)，即一幅图像上的一个特征点对应另一幅图像的若干个对应点，其中的一个点是真正的对应点，而其它点是假对应点．