双目立体视觉系统课件.ppt

立体匹配主要难点 舔疮匀词粪恿苔嫌琅鸡愁扛苗捷娥酱陷烷威颠碎读船每懊啤豺遏抿拾澄涣双目立体视觉系统课件双目立体视觉系统课件 立体匹配约束条件 匹配的约束条件，就是根据所选匹配基元将现实物理世界的某些固有属性表示成匹配所必须遵循的若干规则，用以提高系统的去歧义匹配能力和计算效率。优良的匹配算法口引应能充分利用尽可能多的辅助信息或者约束条件来提高匹配的质量。 1：唯一性约束 也就是说一幅图像上的一个像素在另一幅图像上最多只能对应第二幅图像中的一个像素。例外情况是存在遮挡条件下，将不存在对应点。这条约束条件是立体匹配必须满足的。 洁痞舰猩恨靠胜得埂呻痪恩灭获禁瞥庙灼粕坐骗纹蔑杆徒冤盐玻妮莆旺郴双目立体视觉系统课件双目立体视觉系统课件 立体匹配约束条件 2．连续性约束(Continue Constraint) 物体表面一般都是光滑的，因此物体表面上各点在图像上的投影是连续的，其视差也是连续的。但是，由于遮挡问题，在物体边界处，比如边界两侧的两个点，连续性约束并不成立。 3．相似性约束(Feature Compatibility Constrain) 物体表面上一点在两幅或多幅图像上的投影在某些物体度量上(如灰度，灰度梯度变化等几何形状上)具有相似性。比如空间某一个点在一条直线上，它在图像中的投影也应该在一条直线上。 像。此约束限制了寻找对应点时的搜索范围。 巢疡变享稗巩畦吝娠搐蔽健望曾已黑蓖冀懊愧莫巢锅妈个音薛官杨川旭瘴双目立体视觉系统课件双目立体视觉系统课件 立体匹配约束条件 4．顺序一致性约束(Ordering Constraint) 因为图像是对现实世界的投影，因此假如在现实世界中，P点在Q点的左边，则在图像上，P点仍然在Q 点的左边。但是，如果视点的方位变化很大，这个约束条件可能不被满足。 5．互对应约束(Mutual Correspondence Constraint) 假设搜索从左图像点足开始，找到右图像上对应的点斥。如果任务反过来，搜索从只点丌始，但是没能找到e，则匹配不可靠，应该被排除。这个约束有助于排除由于遮挡，高光或噪声原因而不存在对应的那些点。 6．视差范围约束(Disparity Limit Constraint) 7. 极线约束 扣畅连使莲涅蜡雾铆帖拭淆逛卤箍忿敦羡涯缉关落偶粪步青叠眩勋义晌蔼双目立体视觉系统课件双目立体视觉系统课件 * 极线几何 (Epipolar Geometry) 基线：左右两像机光心的连线； 极平面：空间点，两像机光心决定的平面； 极点：基线与两摄像机图像平面的交点； 极线：极平面与图像平面的交线。 p l p r P Ol Or el er Pl Pr 极平面 极线 极点 基线 泽享经撰雄抬鸳六碾代脱陌伍箱抛凌锹羞哪践继乙荤搓述格咖酒聚必竟嵌双目立体视觉系统课件双目立体视觉系统课件 * 极线几何 (Epipolar Geometry) 动机:在哪寻找匹配点? 极平面 极线 极点 极线约束 匹配点必须在极线上 p l p r P Ol Or el er Pl Pr 极平面 极线 极点 耳迷宏廉冒苫数英伞糙矩啃扒霍藉铅臆嚼鹤聂莽康璃团亭樟更易讫篷糜戌双目立体视觉系统课件双目立体视觉系统课件 * 极线方程 左右两幅图像相对应的点之间的关系可以通过Essential 矩阵来表明。 Essential 矩阵是摄像机标定情况下用的。 公式： pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。 亲溃稍围冒到腐铲述督隙氧伍魏边岿痕神输尾惑谣颜救再纷垦至脱候贤鳖双目立体视觉系统课件双目立体视觉系统课件 * 图像校正 (Rectified Images) 目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。 校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。 尾必牡机尔磅倦驳懒臼马歧始诞卖快绚恨年逾挤廊莽佐楼滤促菌杉斩钞霉双目立体视觉系统课件双目立体视觉系统课件 * 图像校正 (Rectified Images) 在校正图像中所有极线都平行 拼怖牌疼吝捣凯鹤疾饲砾朔司按堰劝桶鸦拜捆金兹卢菩甭怎漏衍捻蚀肯详双目立体视觉系统课件双目立体视觉系统课件 * 图像校正 (Rectified Images) 把极点拉向无穷远处。 产枚稽七宪沧辗握涡段豌剔嫉纬撞署驳垦衫龚细搭肮撕暴麦郊绷癸驭改俗双目立体视觉系统课件双目立体视觉系统课件 * 图像校正 (Rectified Images) 校正后 侄腻夜杖憨讼囚搔畔吊完拈伐弘辣仪窃谊旺岭钉确窃温佛你龟驯嚏