单视多视测量的技术.ppt

计算机视觉的多视几何 吴 毅 红 中国科学院自动化研究所 模式识别国家重点实验室 主 要 内 容 1. 单视几何（应用 单幅图像测量） 2. 两视几何（Epipolar Geometry 约束） 空间平面与Homography 3. 三视几何（Trifocal Geometry 约束） 1. 单视几何 1. 单视测量 目标、内容 研究的意义 国内外研究的现状 算法 1. 单视测量 从单幅图像中恢复场景的全部或部分三维信息 运用射影几何理论，探索利用单幅图像实现场景测量所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量 1. 单视测量 利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响 基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确 具有非常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面 1. 单视测量 用两幅或多幅图像对场景进行重建以后进行测量的方法以及摄影测量学的方法有很大的局限性 利用单幅图像对场景进行测量，已引起人们的关注 A. Criminisi University of Oxford 目前，国内外在此方面还没有系统的研究 1.单视测量 空间平面与其图像间的关系可由平面Homography: H 来表示(一个 的矩阵). 一般将空间平面假设为 即X-Y 平面, 则： 1. 单视测量 如果4个空间点 已知，则由它们可线性求解H： 1. 单视测量 已知一个空间平面的homography和此平面法向量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测： 1. 单视测量 2. 两视几何 外（对）极几何（Epipolar geometry） 基本矩阵、本质矩阵 重建 景物平面与单应矩阵（Homography） 2. 两视几何 2. 两视几何 2. 两视几何 基线：连接两个摄象机光心 O（O’）的直线 外极点：基线与像平面的交点 外极平面：过基线的平面 外极线：对极平面与图像平面的交线 基本矩阵F：对应点对之间的约束 2. 两视几何 2. 两视几何 2. 两视几何 2. 两视几何 2. 两视几何 H是一个 射影变换矩阵 ，投影矩阵对 和 对应相同的基本矩阵 。 2. 两视几何 在两幅图像之间，基本矩阵将点 m 映射为对应的对极线，将对极点映射为0。不能提供对应点间的一一对应。 2. 两视几何 空间中一点 在两幅图像上的成像分别为： 极点 极线 2. 两视几何 基于代数误差的线性估计---8、7点算法 基于几何误差的非线性优化 基于RANSAC思想的自动估计算法 2. 两视几何 一对对应点 ， 之间满足约束： 展开可以得到约束方程为： 2. 两视几何 当 n=8 时，可以线性求解 f。 2. 两视几何 基于代数误差的估计方法是满足某些约束下使 最小的算法 8 点算法： 步骤：1) 由对应点 (n=8) 集构造矩阵A；2) 对 A 进行奇异值分解 ，由向量 构造矩阵F（3）对F进行SVD分解 得到基本矩阵的估计 2. 两视几何 8 点算法估计基本矩阵 F 的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精确时，由 8 点算法给出的基本矩阵 F 的解精度很低。 存在一种规一化坐标系，在此坐标系下估计的基本矩阵优于其它坐标系。 2. 两视几何 规一化变换：1) 对图像点做位移变换，使得图像的原点位于图像点集的质心；2) 对图像点做缩放变换，使得图像点分布在以质心为圆心半径为 的圆内。 2. 两视几何 2. 两视几何 如果求解的基本矩阵 F 不满足约束 ，即 那么不存在向量 e 使得 Fe=0，则在图像中的对极线不交于同一点 (对极点 e )。 由于基本矩阵的秩为 2 ，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以确定基本矩阵。 2. 两视几何 利用SVD分解的方法得到两个对应于系数矩阵A 的右零空间的基向量