2026《双目成像理论概述》2000字.docxVIP

第

第PAGE2页共NUMPAGES39页

双目成像理论概述

1.1立体匹配原理

双目测距分为相机标定、立体匹配、深度值重建三个步骤，运用图像视差、相机基线、相机焦距与深度值建立对应模型。相机标定用于实现相机基线、焦距参数的求解，图像视差指同一物点在左、右视差成像点的横坐标之差。视差求解的关键环节是立体匹配，实现立体匹配要求双目相机所拍摄的图像处于同一平面且行对准，再采用动态规划的思想对左、右图像进行匹配[33-35]。如图1.6所示，实际双目测距相机存在畸变且拍摄的图像不对准，相机标定的畸变参数用于图像矫正，并对左、右图像进行立体校正，使其共面行对准。

图1.6双目校正原理图

Fig.1.6Principlediagramofbinocularcorrection

校正过程中，先进行共面校正，使双目图像处于同一平面。利用相机标定的外参，即相对旋转矩阵，分别分解为左、右相机的旋转矩阵与：

(1.14)

左相机旋转，右相机旋转，即可实现共面。共面后再通过行对准，采用Bouguet极线校正的思想，对极点进行约束。所谓极点，是指双目机原点连线与图像平面的交点。行对准时，极点应位于无穷远处：即满足同一像素点在左、右图像的连线与双目坐标系的原点连线平行。建立双目相机平移向量方向上的行对准矩阵为：

(1.15)

式中：，为平移向量同方向的极点；，为图像方向的向量；。

则双目左、右相机的行对准转换矩阵与对应为：

(1.16)

左相机旋转，右相机旋转，实现行对准，双目图像则可进行匹配。立体匹配是双目立体视觉三维重建的关键部分，主要利用相应算法进行左右图像特征点的匹配，进而计算视差，并重建深度值，达到重建的目的。常见的立体匹配算法可划分为全局立体匹配算法和局部立体匹配算法：

(1)全局立体匹配算法

全局立体匹配算法，利用左图的某一像素点去匹配右图的所有像素点，实现左图最相似像素点的查找。由于该匹配算法以像素点为单位进行匹配，考虑因素多，相对运算量大，因而不适应对实时性要求较高的场合。但该类算法相比局部立体算法而言，误差较小，匹配精度更高。该类算法主要通过优化含数据项和平滑项的全局能量函数对视差进行求解。其能量函数通常定义为：

(1.17)

式中：为数据项，用于判别相似性；为平滑项，用于约束连续性。

常见的全局立体匹配算法有模拟退火、动态规划、信念传播等[36]。由于计算机性能的不断提高，全局匹配算法中运行速度也得到相应的提升。在综合考虑实时性和精度的基础上，半全局立体匹配算法就应运而生，它以动态规划为基础，把多维问题转为一维问题，在运行速度和精度上实现了均衡，获得了较好的匹配效果[37]。

(2)局部立体匹配算法

局部立体匹配算法，则是利用左图像素块来代替中间像素点，去匹配右图的像素块。相比全局立体算法，相对精度较低，但运行速度远高于后者。该算法无需考虑像素之间的连续性，主要以像素块为单位进行动态规划。利用块匹配来代替点匹配，匹配数量可以大幅降低，动态规划效率则大幅提升，因而局部匹配方法整体计算速度显著优于全局类匹配方法。

局部立体匹配算法需要进行如图1.7所示像素块的计算与匹配。图中，对于全局立体匹配算法而言，需要点对点进行匹配，即左图黑色像素点IL(q)匹配右图黑色像素点IR(qd)，而后遍历整幅图像逐点匹配。对于局部立体匹配算法而言，则是以块为单位，利用左图中的灰色区域块N(p)，匹配右图的灰色区域块N(pd)，其计算量明显降低，但误差也相应变大。局部立体匹配算法流程图如图1.8所示。

图1.7代价聚合原理图

Fig.1.7Schematicofcostaggregation

图1.8局部立体匹配流程图

Figure1.8Flowchartoflocalstereomatching

图1.8所示流程图中，聚合指标为立体匹配的基础，用于评价左、右视图像素块匹配效果，聚合指标最小，匹配效果最优。对于不同的场合往往可以选用不同类型的聚合指标函数，从而获得匹配精度的提升。常见的相关指标函数有：

绝对差值和：

(1.18)

截断绝对差值和：

(1.19)

差值平方和：

(1.20)

式中：为左视图区域像素，为右视图区域像素；为左视图像素。为像素所对应的像素块，限于局部和半全局立体匹配算法。在全局立体匹配算法中，像素块退化为像素点，无需进行求和、取均值，直接在动态规划中进行视差计