双目立体视觉教案解析.ppt

双目立体视觉 Binocular stereo vision 信息视觉处理 内容（Contents） 极线几何 Essential矩阵、fundamental矩阵 弱标定 立体重建（视差、双目匹配） 多个摄像机 结构光 时空立体光条 距离（range）数据 实例：视差与三维图 最新进展（运动提取等） 进一步学习材料 2D 和 3D 的关系 现实存在的问题 一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出来。 2D的分析需要3D的信息 物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。 3D的信息可以通过2D的图像计算出来 视差(Disparity)，深度(Depth)信息等等。 为什么需要两个眼睛？ 物体的深度信息不能通过单眼所获得。 为什么需要两个眼睛？ 物体的深度信息可以通过双眼的观察得到。 双目立体视觉三维测量原理(Triangulation) 双目立体视觉三维测量是基于视差原理。 计算公式： 视差(Disparity)与深度(Depth)的关系 视差和深度成反比关系： 视差(Disparity)与深度(Depth)的关系 同一深度下的视差一样 亚像素(Sub-pixel) 在某些对精度要求较高的场合，需要对视差进一步精细化 (Refinement)，亚像素是其中的一种方法。 立体视觉（Stereo Vision） 由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术 两个主要的子问题 匹配问题 - 视差图(Disparity Space Image) 相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见 重建问题 - 3D 重建所需要的摄像机参数 立体摄像机标定 立体图对 (Stereo pair) 问题 匹配问题 (立体匹配) - 视差图 重建问题 - 3D 极线几何 (Epipolar Geometry) 动机:在哪寻找匹配点? 极平面 极线 极点 极线约束 匹配点必须在极线上 极线几何 (Epipolar Geometry) 基线：左右两像机光心的连线； 极平面：空间点，两像机光心决定的平面； 极点：基线与两摄像机图像平面的交点； 极线：极平面与图像平面的交线。 Essential 矩阵 左右两幅图像相对应的点之间的关系可以通过Essential 矩阵或是Fundamental 矩阵来表明。 Essential 矩阵是摄像机标定情况下用的。 公式： pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。 Fundamental 矩阵 当内部参数未知（非标定的摄像机）： 公式可表示为： M为内参矩阵 ql, qr为图像坐标 Fundamental矩阵秩同样为2。 Fundamental矩阵是摄像机非标定的情况用的。 弱标定 (Weak Calibration) 定义：对于内部参数未知的摄像机，通过两幅图中的冗余点集合来估计外极几何。 方法： 8点算法 (Longuet-Higgins 1981) 最小二乘法 最小二乘法的8点算法 规范化线性8点算法 (Hartley 1995) 弱标定 (Weak Calibration) 使用一个玩具房子的两幅图像上的37个点作为输入的弱标定实验。 数据点在图中用圆点表示，所经过的外极线用短的直线段表示。 左图显示使用最小二乘法的普通8点算法得到的输出结果；右图为使用Hartley变换后的该方法的输出结果。 图像校正 (Rectified Images) 目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。 校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。 图像校正 (Rectified Images) 在校正图像中所有极线都平行 图像校正 (Rectified Images) 把极点拉向无穷远处。 图像校正 (Rectified Images) 立体匹配 (Stereo match) 选取何种匹配基元进行匹配？ 两种主要的方法 特征匹配 稠密匹配 特征匹配 (Feature match) 常用特征 边缘 线 (长度、方向、平均对比度) 角点 匹配算法 在立体图对中抽取特征 定义相似度 利用相似度和极线几何寻找匹配 特征匹配 (Feature match) 对于左图像中的每一个特征… 特征匹配 (Feature match) 在右图像中寻找… 当相似度达到最大时的偏移量就是视差 稠密匹配（Dense match） 找到对应于场景中同一