双目立体视觉教案.pdfVIP

双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意 物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用 在多个领域。现说明介绍如何基于HALCON 实现双目立体视觉系统，以及立体视觉的基本理 论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三 维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数 字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理 恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域 有着广泛的应用前景。 HALCON 是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需 求的完善的开发库。HALCON 也包含Blob 分析、形态学、模式识别、测量、三维摄像机定标、 双目立体视觉等杰出的高级算法。HALCON 支持 Linux 和Windows ，并且可以通过C、C++、 C#、Visual Basic 和 Delphi 语言访问。另外 HALCON 与硬件无关，支持大多数图像采集卡及 带有DirectShow 和IEEE 1394 驱动的采集设备，用户可以利用其开放式结构快速开发图像处 理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1 所示为简单的平视双目立体成像原理图， 两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光 心处，坐标系如图1 所示。事实上摄像机的成像平面在镜头的光心后，图1 中将左右成像平 面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐 标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴 与平面的交点O1 和O2 。空间中某点P 在左图像和右图像中相应的坐标分别为 P1(u1,v1)和 P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2 。 由三角几何关系得到: 上式中（xc，yc ，zc ）为点P 在左摄像机坐标系中的坐标，b 为基线距，f 为两个摄像机 的焦距，（u1，v1 ）和（u2，v2 ）分别为点P 在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图 图3 一般双目立体视觉系统原理图 由此可计算出空间中某点P 在左摄像机坐标系中的坐标为: 因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标 定获得摄像机的内外参数，就可以确定这个点的三维坐标。 1．2 双目立体视觉的系统结构以及精度分析 由上述双目视觉系统的基本原理可知，为了获得三维空间中某点的三维坐标，需要在左 右两个摄像机像面上都存在该点的相应点。立体视觉系统的一般结构为交叉摆放的两个摄像 机从不同角度观测同一被测物体。图3 为原理图。这样通过求得两个图像中相应点的图像坐 标，便可以由双目立体视觉测量原理求取三维空间坐标。事实上，获取两幅图像也可以由一 个摄像机实现，如一个摄像机通过给定方式的运动，在不同位置观测同一个静止的物体，或 者通过光学成像方式将两幅图像投影到一个摄像机，都可以满足要求。 各种双目视觉系统结构各有优缺点，这些结构适用于不同的应用场合。对要求大测量范 围和较高测量精度的场合，采用基于双摄像机的双目立体视觉系统比较合适；对测量范围要 求比较小，对视觉系统体积和质量要求严格，需要高速度实时测量对象，基于光学成像的单 摄像机双目立体视觉系统便成为最佳选择。 基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上，在进行双目视觉系统 标定以及应用该系统进行测量时，要确保摄像机的内参( 比如焦距)和两个摄像机相对位置关 系不能够发生变化，如果任何一项发生变化，则需要重新对双目立体视觉系统进行标定。 视觉系统的安装方法影响测量结果的精度。测量的精度可由下式得出: 上式中⊿z 表示测量得出的被测点与立体视觉系统之间距离的精度，z 指被测点与立体 视觉系统的绝对距离，f 指摄像机的焦距，b 表示双目立体视觉系统的基线距，⊿d 表示被 测点视差精度。 为了得到更高的精度，应该使摄像机的焦距以及