移动机器人立体视觉技术研究..pptVIP

* * * * * * * * * * * * * * 北航自动化科学与电气工程学院 School of Automation And Electrical Engineering 移动机器人立体视觉技术研究 报告人： 邹宇华 日期：2010年04月30日 自动化科学与电气工程学院 目录 立体视觉技术及其应用 1 摄像机参数标定 2 双目匹配与景深重构 3 Matlab+OpenCV实现 4 自动化科学与电气工程学院 一、立体视觉技术及其应用 立体视觉(Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的多幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。 自动化科学与电气工程学院 一、立体视觉技术及其应用 航空测绘 逆向工程 医学图像 工业检测 机器人导航 立体视觉技术的应用 影视拍摄 自动化科学与电气工程学院 二、摄像机参数标定 图像坐标系、摄像机坐标系和世界坐标 图像坐标系 (u,v)：以像素为单位的图像坐标 (x,y)：以毫米为单位的图像坐标 摄像机坐标系和世界坐标 (Xc,Yc,Zc)：点P的摄像机坐标 (Xw,Yw,Zw)：点P的世界坐标 旋转矩阵 R 平移向量 t 自动化科学与电气工程学院 二、摄像机参数标定 线性摄像机模型（针孔模型） 空间任何一点P在图像上的成像位置可以用针孔模型近似表示： M为3×4矩阵，称为投影矩阵； M1完全由fx、fy、u0、v0决定，只与摄像机内部结构有关，这些参数称为摄像机内部参数； M2完全由摄像机相对于世界坐标系的方位决定，称为摄像机的外部参数； Xw为空间点在世界坐标系下的齐次坐标 自动化科学与电气工程学院 二、摄像机参数标定 线性摄像机模型标定 摄像机标定一般都需要一个放在摄像机前的特制的标定参照物（棋盘纸），摄像机获取该物体的图像，并由此计算摄像机的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可计算出摄像机的内外参数。 自动化科学与电气工程学院 二、摄像机参数标定 线性摄像机模型标定 自动化科学与电气工程学院 二、摄像机参数标定 非线性摄像机模型标定 径向畸变的校正： 切向畸变的校正： 自动化科学与电气工程学院 二、摄像机参数标定 双目立体视觉摄像机标定 摄像机C1（C2）与世界坐标系相对位置的外部参数为旋转矩阵R1（R2）和平移向量 t1（t2）； 空间任一点P在世界坐标系、摄像机C1坐标系和摄像机C2坐标系下的非齐次坐标分别为xw,xc1,xc2； 两个摄像机之间的几何关系可用R和t表示 自动化科学与电气工程学院 三、双目匹配与景深重构 双目视差与距离测定 自动化科学与电气工程学院 三、双目匹配与景深重构 特征匹配与基本约束 自动化科学与电气工程学院 三、双目匹配与景深重构 极线约束 自动化科学与电气工程学院 三、双目匹配与景深重构 双目校正 原始视图 消除畸变 双目校正 图像剪裁 自动化科学与电气工程学院 三、双目匹配与景深重构 双目匹配与视差获取 立体匹配被普遍认为是立体视觉中最困难也是最关键的问题。通过找出每对图像间的对应关系，来解决立体匹配问题，再通过三角测量原理，进而得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息。 目前立体匹配算法是计算机视觉中的一个难点和热点，算法很多，但是一般的步骤是： 1、匹配代价计算 2、匹配代价叠加 3、视差获取 4、视差细化（亚像素级） 自动化科学与电气工程学院 三、双目匹配与景深重构 匹配代价计算 自动化科学与电气工程学院 三、双目匹配与景深重构 匹配代价叠加 自动化科学与电气工程学院 三、双目匹配与景深重构 视差获取与细化 自动化科学与电气工程学院 四、Matlab+OpenCV实现 基于Matlab的摄像机标定 自动化科学与电气工程学院 四、Matlab+OpenCV实现 基于OpenCV的双目立体视觉 在双目匹配和视差计算的算法方面，OpenCV主要使用了两种比较成熟的算法。一种是基于SAD（Sum of Absolute Difference）的块匹配（Block Matching）算法（简称BM算法），另一种是基于Graph Cut的全局匹配算法（简称GC算法）。 a. BM算法视差图 b. GC算法视差图 自动化科学与电气工程学院 四、Matlab+OpenCV实现 基于OpenCV的双目测距和景深重建系统 * * * * 摄像机成像几何关系，其中Oc点称为摄像机的光心，Xc轴和Yc轴与图像的x