立体相机标定.ppt

基于双目视觉的三维重建－立体视觉的匹配问题研究 2006.09.26 双目立体视觉原理 系统概述 基于视觉三维重建的主要步骤 图像的获取 相机的标定 立体匹配（求取对应性） 三维信息提取或重建 相机标定 单相机标定 线形标定、非线性标定 自标定、一般标定 立体相机标定 立体相机标定与单相机标定有不同之处，还要求取两相机之间的相对位置关系 基本矩阵F：在立体视觉里面，极线几何反映了两相机之间的相对关系。 本质矩阵E： 仅仅反映位置关系 而与相机内参数无关。对E进行SVD分解，就可以在相差一个常系数的情况下精确描述相机的相对运动 立体视觉的校正 为了加速立体匹配的速度，许多算法都是假设两幅图像的视差仅分布在水平方向上，这样就将图像对的匹配问题从二维降到了一维。而图像校正就是对两幅图像再进行一次平面射影变换，使得两幅图像对应极线在同一水平线上，对应极点被映射到无穷远处。因此图像校正是立体匹配中重要的预备步骤。 校正后的图像对基础矩阵变成为 立体匹配 研究的内容： 1）由于匹配匹配的不确定性，解决匹配的歧义和真实反映物理世界属性，在匹配过程中需要一定的匹配准则和约束。 2）基元的选取，匹配基元是指用以匹配的图像特征，这个特征是个泛指的概念。这个特征应该具有较好的表征景物本身的特有属性。良好的匹配基元应具有可区分性、不变性、稳定性、唯一性和有效解决歧义匹配的能力。 3）相似性测度函数的合理应用 SAD SSD SCP-N 非参数方法 Bank Census 其中 SAD SSD 的匹配代价相对较低，并且结构比较规整，易于算法实现。 4）优化算法的应用 立体匹配 立体匹配方法： 1、局部匹配 2、全局算法 局部匹配算法： 特征匹配、区域匹配、相位匹配－窗口选择、测度函数选择 全局匹配算法： 动态规划 图切法 协同算法 局部算法的重点在于匹配代价的计算和匹配代价的累积阶段，即测度函数的计算方面，相应的视差值的确定较为简单，只需找出一个具有最小的匹配代价值作为视差值即可，此类方法表现为对每一个像素在局部条件下最优化，是一种“胜者全取”(winner-take-all)的最优化思想。 全局优化方法将计算精力集中在视差的计算阶段，并且有可能跳过匹配代价的累积阶段，许多全局算法主要是基于能量最小化的思想。 立体匹配 匹配过程 对特征匹配来说首先要选取的是匹配特征 1、定义匹配代价函数 代价函数类型 2、 方差计算和最优化 立体匹配 在区域匹配的过程中，窗口大小的选择对匹配结果有很大的影响。 窗口要足够的大，能包含足够的信息 要求窗口足够的小，获得最近似的视差。窗口的形状也要变化，去避免边界的影响。 最近的研究主要是集中在窗口自适应性能提高 窗口更新函数选择 立体匹配 窗口更新函数 （12.6%） 全局匹配算法 动态规划 两个一维信号的特征点全局最优匹配搜索。由于在立体视觉中，两条共扼的极线上的图像信号都可以看作是一维信号，在单调性约束下，可用动态规划对两条极线上的点集进行全局最优匹配搜索，使最终各点的匹配在相似性与相容性上达到最优 协同算法 立体匹配 立体匹配 12.18% 10.51% 最大视差 要在两幅图像里面计算，我们通过分析两幅图像在空间结构上的相关性，用变量图的形式来表示这种空间上的结构性相关性。对于二维图像信号来说，如果只考虑标准图像对的情况下 ： 图像分割 在图像分割过程中，我们通过估计大小为的窗口内中心点的特征矢量分布密度，可以判定该点处是否平滑，任一点的特征矢量可以包含不同的信息，在本文中选仅仅包含此点的灰度信息。即，分割采用的方法为核函数密度估计。 设为正态函数： 其中d是向量维数，则窗口内的密度估计为 其中h为空间分辨率，k为常系数。 对每一点的进行归一化运算，选取一定的阈值，采用8邻域连接就可以把图像分为平滑与非平滑区。在本文中选取的为0.9。 左右视线 1、弱限制 并 2、强限制 或 视差的优化 顺序性约束 非参局部变化法 这是一种新颖的区域匹配算法，在匹配之前对区域灰度 进行某种变换 一、rank 二 census 113 87 42