第九章-立体视觉.pptVIP

加拿大物理学家博伊尔（Willard Boyle）和美国科学家史密斯（George E. Smith），因发明数码相机图像感应器“感光半导体电荷耦合器件”(CCD)，2009年10月连同“光纤之父”高锟，荣获诺贝尔物理学奖。 CCD作为计算机视觉的物质基础 计算机视觉从此获得蓬勃发展 Who Are They? 隐含2个条件：1、对应点在同一水平线上，或极线水平且共线 2、遵循小孔成像模型 * 发散立体视觉 * 思考题：用于后续中的立体匹配过程，将对应点搜索由原来的二维平面上搜索变为在极线上的一维搜索。 * 以左图为基准，右图上的视差搜索范围为[-dpmax, 0] 以右图为基准，左图上的视差搜索范围为[0，-dpmax] * * 距离越小，相似性越大 距离越大，相似性越小 * 相关系数越大，相似性越大；相关系数越小，相似性越小 * RANK不考虑窗口内像素的排序，Census考虑窗口内像素的排序 * 视差图中灰度级越亮，表示视差越大，说明距离像机越近；若灰度级越暗，表明视差越小，说明距离像机越远。 * 区域匹配的隐含条件是：匹配窗口内视差平滑；当匹配窗口跨越视差不连续处时，导致隐含条件不满足，易产生误匹配。窗口越大违反隐含条件的概率越大。 * * 视差搜索范围的确定：根据场景的深度范围，以及双目立体视觉系统的基线和焦距，计算视差搜索范围， 即dmin = B*f/Zmax, dmax = B*f/Zmin * 没有违反, 在左图中, 后一个场景点被前一个场景点遮挡, 所以右图只有一个点与左图点对应 后一个场景点在右图上的投影点, 在左图中没有对应点. * 左右一致性：以左图为基准图，在右图搜索pl 的对应点为pr ；以右图为基准图，在左图中搜索pr的对应点为pl * * * 三种状态：匹配、左遮挡、右遮挡 * 此处的最小化是具有全局最小化意义，表示从起始节点(源节点)到当前节点的最短路径。 补充：其动态规划的思想：第t阶段决策只需考虑第t-1阶段的决策。 具体说明：当前t阶段的状态j有三种：j=1,j=2,j=3 则ｔ阶段状态ｊ=2的代价为：Ct(j=2) = mini((Π12+Ct-1(i=1)),(Π22+Ct-1(i=2)), (Π32+Ct-1(i=3))) 类似：Ct(j=１) = mini((Π1１+Ct-1(i=1)),(Π2１+Ct-1(i=2)), (Π3１+Ct-1(i=3))) 　　　Ct(j=３) = mini((Π1３+Ct-1(i=1)),(Π2３+Ct-1(i=2)), (Π3３+Ct-1(i=3))) * 记录每个节点的父节点的目的是为了回溯路径。 * * Rome is not built in a day 冰冻三尺，非一日之寒 A good beginning is half done 良好的开端是成功的一半 * 动态规划在视差空间中生成一条最优路径。 路径生成满足顺序约束 遮挡、匹配搜索方向及其代价示意： correspondence 要求：寻找匹配代价和最小的一条路径 Left Occluded Pixels Left scanline Right occluded Pixels Right scanline Start End 立体匹配问题转换为最优路径的搜索问题 动态规划是求解连续决策（最优路径）问题的有效方法。 总共有多少条路径？ 1 2 3 1 2 3 1 2 3 1 2 3 … i = 1 i = 2 i = 3 t = 1 t = 2 t = 3 t = T 状态 扫描行像素 将整条扫描线匹配过程分解为多阶段决策过程。 单个阶段决策的代价为： 1 2 3 1 2 3 1 2 3 i = 1 i = 2 i = 3 n阶赋值问题的最优理论（体现动态规划方法）： 1 2 3 1 2 3 1 2 3 此处最小化是全局概念还是局部概念? 记录每个节点的父节点 1 2 3 1 2 3 1 2 3 Why？ 最优路径搜索的伪代码 注：M(i,j)用于记录父节点 correspondence 含义？ 匹配代价 左遮挡 右遮挡 最优路径回溯伪代码 遮挡——跳过直到找到下一个匹配点 优点: 保证了一条扫描线上各像素点的优化匹配。 缺点： 缺少扫描线间的强制约束 无法将水平方向和垂直方向的连续性约束有效融合。 局部误差会着扫描线传播。 视差结果图中有着很明显的横纹效应。 横纹效应明显 如何评判立体匹配算法性能的优劣? 匹配质量 为每个像素在另一幅图像中寻找到最佳匹配。 平滑性 若两像素相邻，则它们的视差（通常）相近。 思路：定义一个全局能量函数, 并求解该能