IDS 3D相机白皮书.pdfVIP

IDS 3D 视觉立体相机 目录： 1. 摘要 3 2. 常用立体视觉配置 3 3. 校准 4 3.1深度知觉计算处理步骤 5 3.2 矫正 5 3.3 立体匹配 7 3.4 投影变换 9 3.5 特定于应用程序的处理 10 3.6 N10 立体相机 10 3.7 Nxlib 立体处理库 10 4. Ensenso N10立体相机信息 11 5. Ensenso N10立体相机特征 12 3 1. 摘要 本文主要深入分析使用立体相机的深度知觉主要处理步骤、常 用立体视觉配置以及使用Nxlib立体处理库的Ensenso N10 立体相机。（深 度知觉是指人对物体远近距离即深度的知觉，它的准确性是对于深度线索的敏感程度的综合测定。） 2. 常用立体视觉配置 立体视觉的深度知觉是基于三角测量原理，我们并排放置两个相机，利用 投影光学系统可使两个相机视野在所需求的物距发生重叠，通过每个相机 拍摄的图片，我们可以捕捉到不同视角的场景，如图1所示： 对于两个相机图像中的每一个可见表面点，在3D空间有两条光线连接使用 每个相机投射中心的表面点，为了获取捕捉场景的3D位置我们大体上需要 完成以下两个任务，首先我们需要确定左边相机图像的表面点在右边相机 图像的哪里显示，其次必须知道左右相机图像的关联像素交叉点，当我们 假定相机彼此之间相互关联后，在校准处理时几何计算仅运行一次。 3. 校准 两个相机系统的几何形状可通过立体校准处理被预先计算出来，首先我们 需要一个校准对象（一个使用已知大小图像交错式或点模式的二维校准板）， 然后我们捕捉立体像对（像对：从不同摄站摄取的具有重叠影像的一对像片。可 以利用立体像对进行立体观察判读及测图等工作），这样即可展示不同位置图案、 两个相机的距离及其定位，我们可以使用每个像对形成的图案点的像素位 置和它们在校准板上的已知位置用于计算所有观察图像的3D模型和立体 相机的准确模型，这个模型包含了每个相机的固有参数（比如焦距）、失 真及外在参数，也就是在左右相机之间的三维空间里旋转及变换，我们可 以使用三角形校准数据上的对应点来鉴定两个相机图像和恢复关于相机三 维坐标度量标准。 5 3.1深度知觉计算处理步骤 该处理步骤可分为3个部分，且必须计算出 像对的每个像素的3D位置，这些步骤必须实时执行以让每个捕获的立体图 像能获得3D点云（点云是在同一空间参考系下表达目标空间分布和目标表面特性 的海量点集合）或场景表面。 3.2 矫正 为了能够三角定位成像点我们需要鉴定左右相机图像的对应影像部分，考 虑到左边图像有一个小的图像分块，我们可以简单的搜索右边相机的整块 图像来充分匹配，这将耗费大量的时间以至任务无法即使完成，参照图3 中的示例图像，圆锥体尖端是在左边图像的最上方位置，直观感觉似乎并 不需要在右边图像的下半区搜索锥尖，事实上由于两个投影相机的几何形 状我们可以允许将搜索范围限制在右边图像中的一堆线上，这些线我们称 之为核线。 图2显示了一些手绘的对应点及它们的核线，在原始相机图像 上面核线会因为相机光学导致的扭曲而发生弯曲，沿着这些曲线对应搜索 将会非常缓慢和复杂，在校准过程中我们可以去除图像扭曲由此未失真的 图像可产生直的核线。 6 尽管产生了直的核线但由于其在不同的图像区域有不同的方向，这就导致 图像平面（相机芯片）既不能完全共面也不能拥有相同的方向，为了进一 步加快对应搜索速度我们可以使用相机几何校准和对图片应用额外透射转 换，这样核线可与扫描线2对齐，这一步骤我们称之为“矫正”，圆锥体白色 尖端区域搜索现在能通过寻找与右边图像相同的扫描线并找到最佳匹配的 位置来实现，以后进一步的处理均仅针对矫正过的图片。 图2 图3 3.3 立体匹配 对于在左边相机图像的每个像素，我们现在可以搜索捕捉同样对象点右边 图像的相同扫描线上的像素，由于单个的像素值不足以区分并找到与之相 对应的像素，我们通常使用一个比较小的窗口（比如7x7pixels ）进行匹配 以此来替代同一行的右边图像的所有窗口，一般来说我们不需要搜索整行， 仅需搜索左边图像上的横坐标上的有限数量的像素点并与附近对象点略加 对照，这样既加快了匹配速度也限制了三角测量点的深度范围，如果发现 了一个足够完美的匹配对象，我们就可以通过右边相应的像素点关联出左 边的像素点，这种关联将被存储在视差图（横坐标像素之间位移）