立体视觉200603.pptVIP

第四章 立体视觉 第一节、立体视觉的实现过程 第一节、立体视觉的实现过程 第一节、立体视觉的实现过程 第一节、立体视觉的实现过程 第二节 三维重建 第二节 三维重建 第二节 三维重建 第二节 三维重建 第二节 三维重建 第二节 三维重建 第二节 三维重建 第三节、极线约束 第三节：极线约束 第三节：极线约束 第三节：极线约束 第三节：极线约束 第三节：极线约束 第三节：极线约束 第三节：极线约束 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 第四节：匹配 * * 计 算 机 视 觉 CV 定义：采用两幅影像或者多幅影响恢复物体三维几何形状的方法。 计 算 机 视 觉 CV 模型 重建 标定 硬件环境 图像处理、匹配等 结果模型 计 算 机 视 觉 CV 模型：视觉实现的理论基础 解算过程的复杂程度 解算过程的精度 计 算 机 视 觉 CV 决定立体视觉过程精度的因素： 模型 标定精度 0.22 0.83 硬件指标 1/1800 成像形状 2mm @ 5m X 图像提取精度 ? Pixel 立体视觉过程精度 计 算 机 视 觉 CV 决定立体视觉过程精度的因素： 成像形状 X,Y方向取决于分辨率，即一个像素相当于空间尺寸的大小。 深度方向除取决于分辨率外，还取决于深度和基线长度的比值D/B。 立体视觉过程精度 计 算 机 视 觉 CV 定义：采用两幅影像或者多幅影像恢复物体三维几何形状的方法。 计 算 机 视 觉 CV 一、空间点重建 消去 得到四个关于X,Y,Z的方程 基于M矩阵的重建 计 算 机 视 觉 CV 一、空间点重建 计 算 机 视 觉 CV 一、空间点重建 基于内外方位元素的重建 计 算 机 视 觉 CV 一、空间直线重建 计 算 机 视 觉 CV 一、空间直线重建 直线方程： 引入投影关系 两边同时乘以 计 算 机 视 觉 CV 一、空间直线重建 直线重建的实质：已知像平面内两直线的方程和两像片的投影矩阵，不需要解方程就可得到直线在场景坐标系下的直线方程。 计 算 机 视 觉 CV 极平面：由两个投影中心和目标点三点组成的平面。 极线：极平面与像平面的交线。同一极平面在两幅影像上的极线互称共轭极线。 一、定义 计 算 机 视 觉 CV 二、极线约束关系，两个投影矩阵，计算极线方程 1、M矩阵得到极线方程 记为： 其中： 计 算 机 视 觉 CV 二、极线约束关系，两个投影矩阵，计算极线方程 1、M矩阵得到极线方程 计 算 机 视 觉 CV 二、极线约束关系，两个投影矩阵，计算极线方程 1、M矩阵得到极线方程 计 算 机 视 觉 CV 二、极线约束关系，两个投影矩阵，计算极线方程 1、M矩阵得到极线方程 计 算 机 视 觉 CV 二、极线约束关系，两个投影矩阵，计算极线方程 2、方位元素计算极线方程 1)、像素坐标转化为像空间辅助坐标，单位由像素变为物理长度，得到了一个向量 V1 计 算 机 视 觉 CV 二、极线约束关系，两个投影矩阵，计算极线方程 2、方位元素计算极线方程 2)、前面得到的向量延基线平移，在经过第二片参数的反旋转，得到另一个向量V2 计 算 机 视 觉 CV 二、极线约束关系，两个投影矩阵，计算极线方程 2、方位元素计算极线方程 3)、将两向量的Z坐标改化到第二片得像平面上得到两个像点坐标 4)、两像点坐标转化为像素坐标，求取两点的直线方程 计 算 机 视 觉 CV 三维重建的基础 三位重建过程中需要知道同一目标在不同影像上的表达 人眼识别基础上的匹配 计算机自动匹配 计 算 机 视 觉 CV 三维重建的基础 计 算 机 视 觉 CV 人眼的匹配过程 识别 物体匹配 计 算 机 视 觉 CV 机器的匹配过程 计算灰度或灰度 变化的相似程度 物体匹配 计 算 机 视 觉 CV 机器的匹配过程 极线约束 计 算 机 视 觉 CV 机器的匹配过程 极线约束 C1 C2 计 算 机 视 觉 CV 机器的匹配过程 极线约束 计 算 机 视 觉 CV 机器的匹配过程 一致性约束：灰度或灰度的变化相似 计 算 机 视 觉 CV 123 175 198 187 98 56 37 36 145 185 206 209 178 87 26 26 132 196 210 221 189 99 34 43 134 188 185 178 156 98 26 24 123 187 178 156