基于置信度传播的立体匹配算法分析-analysis of stereo matching algorithm based on confidence propagation.docxVIP

1绪论1.1立体视觉课题背景在平常生活中，我们的眼睛之所以能获得场景中物体的深度信息，是因为我们左右眼睛对同一物体的视角不一样，再通过大脑复杂的对同一物体的分析，最后视野的差距就成为了我们获得物体深度的依据。相比较与牛，马，羊等眼镜长在头部两侧的动物来说，人类等灵长类动物的眼镜长在头部正前方，左右两眼的视野大部分重叠，因此，重叠部分的物体能够同时被左右眼获取到，两眼同时看见某一物体，分别在左右眼视网膜上成独立的像，经过眼外肌精确地控制运动，使同一物体的成像点落在两眼视网膜堆成点上，这样，在主观上就形成了一个完整立体的物体。双眼视觉的优点在于互相弥补各眼视野中的盲区，并且产生深度感。远处物体近处物体左眼右眼图1-1立体视觉原理示意图由于通过眼外肌的控制可以将物体调整在视网膜对称点上，左眼能够获得物体左侧面，右眼获得物体的右侧面，再通过大脑复杂的运算，就得到了物体的深度感距离感等立体信息。当前技术环境下，利用左右眼视角的3D技术有很多。我们最常见的3D电影，就是利用两台摄像机模拟人的左右眼，去拍摄电影，然后设法将两幅不同的画面分别映射到观众左右眼中去。最早出现的办法是使用偏色眼镜，如左边一台摄像机使用红色偏色滤镜，右边一台摄像机使用蓝色偏色滤镜，放映电影的时候，观众同样需要带上左右不同偏色的眼镜。如图1-2所示图1-2红蓝偏色眼镜但是偏色眼镜也有不小的缺点，一是由于有色滤镜将会使成像变暗，长期佩戴会让眼睛疲劳，另一点就是色彩还原非常差。值得庆幸的是，现在去电影院看3D电影，已经不需要带偏色眼镜了，不仅亮度非常适合观看电影，色彩也真实的还原了。原理是假设屏幕放映的电影的视频图像是120Hz,则所有奇数帧放左摄像机拍摄的图像，偶数帧则播放右摄像机的图像。同时，眼镜也是经过特殊制作的，眼镜中有一个接收器，电影院有个发射器，作用是保持帧信号同步，按照左右正确的接收信号，频率与电影播放频率相同。这样，左右眼就能够交替看见正确信号了，再利用视觉停留原理，就能获得3D效果。通过计算机处理直接获得的双目视觉的立体深度信息如今已经获得广泛的应用，经过几十年的发展，立体视觉在军事用途，医学研究，航空测绘，工业检测，民用娱乐等各种方面都有多种应用。1.2国内外发展概况立体视觉的发展要追溯到大卫·马尔所提出的视觉计算模型[1]，该模型的出现标志着人们开始利用计算机和数学模型进行视觉处理。上个世纪60年代，美国MIT的Roberts博士首先将二维图像分析推广到三维景物，并且开创性的完成了三维景物分析的工作。立体视觉在随后的几十年内，迅速向前发展。时至今日，立体视觉已经发展成为一门应用非常广泛的学科，在整个计算机视觉中已占有越来越重要的地位[2]。80年代，Barnard[3]提出了整个立体视觉的过程，他指出一个完整的立体视觉系统包括图像获取，摄像机定标，提取特征，立体匹配，获取视差以及插值等部分。该模型延展至今，大部分已成为立体视觉成像的标准模式。图像捕捉设备1图像捕捉设备2图像获取原始图像1原始图像2摄像机标定及校正校正图像1校正图像2特征提取特征空间立体匹配匹配结果获取视差深度图像图1-3立体匹配一般流程图像获取，摄像机定标等部分在计算机视觉领域里已经有比较成熟的方法，简而言之，现在图像获取驱动已经做到了透明化，而定标可以使用定标版或者相关性在双目摄像固定好后得到两摄像机的参数。而立体视觉获取的难点和重点在于特征提取，立体匹配，以及获取视差这几个部分，以及如何在保证精度的同时尽量提高时间上的效率。特征提取是指从原始图像中获取左右相关图像一致的信息，而使得物理空间中同一点在左右图中有着相一致的特征；立体匹配就是利用特征提取步骤中相一致的结果，将相关同名点建立匹配关系，从而获取视差信息。而因为视差信息本身又是和深度信息有着反比例的关系。所以最终通过获取视差就可以获得深度信息；而特征提取和立体匹配成为近几年领域内研究的热点。特征提取一般来说分为两类，一是使用灰度相关法，顾名思义，灰度相关法是使用图像灰度值之间的相关性来作为相应像素点之间的相似度衡量。而后发展出的各种基于灰度相关的优化算法[4,5]也大都基于窗口的扫描，相似度函数等方面的考量，其目的是为了提高灰度相关的精度从而直接得出平滑且精确地深度信息。而再一种特征提取方法是基于图像特征的方法，该方法更加强调使用灰度以外其他更加丰富的信息来解决灰度相关的歧义问题，这里的额外信息以边缘和角点为主[6]。从一般意义上来说特征提取的方法间接决定了匹配算法。早在80年代，Barnard和Fischler[7]就指出了匹配算法必须要解决两个问题：一是必须保证视差深度的准确性，二是保证视差深度平面的连续性。由于立体视觉问题本身是一个典型的病态问题，即任何较小的扰动都会导致最后结果的较大变化，而直接使用灰度相关法或者角点