第6章 立体视多目.ppt

第6章　立体视觉：多目 6.1　水平多目立体匹配 6.1.1　水平多目图象 6.1.1　水平多目图象 6.1.2　倒距离 6.1.2　倒距离 6.1.2　倒距离 6.1.2　倒距离 6.2　正交三目立体匹配 6.2.1　基本原理 6.2.1　基本原理 6.2.1　基本原理 6.2.1　基本原理 6.2.2　基于梯度分类的正交匹配 6.2.2　基于梯度分类的正交匹配 6.2.2　基于梯度分类的正交匹配 6.2.2　基于梯度分类的正交匹配 6.2.2　基于梯度分类的正交匹配 6.3　多目立体匹配 6.3.1　任意排列三目立体匹配 6.3.1　任意排列三目立体匹配 6.3.1　任意排列三目立体匹配 6.3.1　任意排列三目立体匹配 6.3.1　任意排列三目立体匹配 6.3.2　正交多目立体匹配 6.4　亚象素级视差计算 6.4　亚象素级视差计算 6.4　亚象素级视差计算 联 系 信 息 *章毓晋 (TH-EE-IE) 第*页 第5讲 章毓晋 清华大学电子工程系 100084 北京 图象工程（下） 6.1 水平多目立体匹配 6.2 正交三目立体匹配 6.3 多目立体匹配 6.4 亚象素级视差计算 从双目到多目 6.1.1　水平多目图象 6.1.2　倒距离 通过计算多对图象间平方差的和（sum of squared difference，SSD）来减少总体的误匹配 {P.128} {P.129} SSD {(6.1.8), (6.1.9)} SSD 将对应M个倒距离的SSD求和，则得到SSSD（sum of SSD） 考虑前述在x和x + p处有相同模式的问题 这里随Bi的变化，虽然tp也会变化，而ti却不变化 考虑：f (x)是一个周期函数，其周期是T。这样每个St(x, t)都是 t 的周期函数，其周期是T/Bil。这表明每隔一个T/Bil区段就有一个极小值。当使用两个基线，得到的仍然是 t 的周期函数，但它的周期T12会增加为： 这里LCM代表最小公倍数。可见T12不会比T1或T2小。进一步，通过选择合适的基线B1和B2，有可能使得在匹配搜索区间仅有一个极小值 另一类三目形式 6.2.1　基本原理 6.2.2　基于梯度分类的正交匹配 水平多目解决了灰度周期性模式带来的问题 另一个问题：灰度光滑区域造成的误匹配 水平多目解决不了光滑区域造成的误匹配 {P. 132} 设dh = dv= d，对应水平方向和垂直方向的SSD分别为： 正交视差度量函数 O(S)(x, y; )的期望值 ： 在正确视差值处，E[O(S)(x, y; )]取得了极小值 正交三目立体匹配方法不仅能减少由于光滑区域造成的误匹配，也能减少周期 性模式造成的误匹配，且极小值次数减少 {(6.2.7), (6.2.8)} {(6.2.11)} 1、　算法流程 减少运算复杂度 如果Gh Gv，则将该象素划归为水平区域，借助水平图象对进行搜索匹配；如果Gh Gv，则将该象素划为垂直区域，借助垂直图象对进行搜索匹配 2、　关于模板尺寸的讨论 梯度模板 2、　关于模板尺寸的讨论 匹配（搜索）模板 3、　正交三目视差图校正 更一般的情况下，可以不止用三目，各目连线也可以不正交 6.3.1　任意排列三目立体匹配 6.3.2　正交多目立体匹配 增加第3个摄像机可以消除许多仅用双目图像匹配所产生的不确定性 {P. 140} 在三目立体成象系统中，每个象平面上有两条极线，它们的交点也是物点W与象平面的交点 给定物点W与 任两个光心点确定 一个极平面 每个象平面上 有两条极线，它们 的交点也是物点W 与象平面的交点 线段邻接图 结点代表边缘线段而弧表示邻接的边缘线段 (1) 对G1中的S1，计算S1的中点P1在图象2中的极线L21，P1在图象2中的对应点P2将在极线L21上 (2)　考虑G2中与极线L21相交的线段S2，设L21与S2的交点为P2。对每个线段S2，比较它与线段S1的长度和方向，如果差值小于给定的阈值，则认为它们可能匹配 (3)对每个可能匹配的线段，进一步计算其在图象3中的极线L32，设它与P1在图象3中的极线L31的交点为P3。在P3附近搜索与线段S1和S2的长度和方向的差值小于给定阈值的线段S3，如果可找到，则S1，S2和S3组成一组匹配线段 结合单方向多目图象分析的方法和正交三目图象分析的方法 {例6.3.1} 视差函数 匹配窗口内的dr(u, v)是变量，将fL[u + dr(u, v), v]在dr(0, 0)