基于多镜头多传感器系统的图像合成.docVIP

　　基于多镜头多传感器系统的图像合成 摘 要： 图像配准是图像合成的关键步骤，该文用两个具有平行光轴结构的多镜头多传感器系统进行图像采集，利用H矩阵与插值算法相结合，快速地完成了两张图像的配准工作，实现了对一个平面上的图像信息的合成，具有提高公共区域信噪比的功能；并在此基础上，提出了一种针对无穷远平面的图像配准方法，有利于进行立体图像的快速配准以及深度图像的求取。 中国 8/vie 　　关键词： 多镜头多传感器系统； H矩阵； 图像映射； 插值算法 　　中图分类号： TN911.73?34； TP391 文献标识码： A ： 1004?373X（2017）06?0122?04 　　Abstract： The image registration is a critical step of image synthesis. The multi?lens and multi?sensor （MLMS） system age. The H?matrix and interpolation algorithm are bined to match tages quickly， and synthesize the image information on a plane， prove the SNR in public area. On this basis， an image registration method for the plane at infinity is proposed， age and the acquisition of the depth image. 　　Keyulti?lens and multi?sensor system； H?matrix； image mapping； interpolation algorithm 　　图像配准是图像合成中的关键步骤，现阶段的配准方法主要有直接配准和分部配准。直接配准主要分为基于特征的配准和基于区域的配准。本文研究具有平行光轴结构的多镜头多传感器（MLMS）系统，由于相机之间存在确定的几何约束关系，因而选择分部配准的方法更为合适。本文提出如下方法：首先借助于一个正对镜头采集方向的平面，利用Homography矩阵[（H]矩阵）建立基于平面图像的图像对齐，同时完成镜头间的极线矫正过程。然后使用图像金字塔结构的方式对水平方向进行图像块搜索，完成快速匹配。 　　上述方法首先确保了两幅图像有超过[12]以上的公共区域，寻找两幅图像公共区域上的对应点，使用经典的直接线性变换算法DLT（Direct Linear Transformation）[1?2]，建立齐次方程，通过奇异值分解（SVD）算法，求取齐次方程的近似解，得到[H]矩阵；然后使用[H]矩阵以及插值算法，构建两张图像在公共区域的映射关系，并通过颜色插值，进行公共区域的图像合成，并提出了无穷远平面的图像对齐方法。 　　1 投影点对应关系[H]矩阵的计算 　　1.1 [H]矩阵 　　在MLMS（Multi?lens Multi?sensors）立体视觉系统中，如图1所示，空间中某一平面π上的任意点[P]，设[Pl]为[P]在左图像（即镜头1拍摄图像）上的投影点，[Pr]为[P]在右图像（即镜头2拍摄图像）上的投影点，由映射关系可得： 　　2 建立映射关系及图像合成 　　2.1 建立坐标映射表 　　在求[H]矩阵的过程中，要计算[T-1l]，需要使用两次除法运算，本文使用插值方法降低运算复杂度，同时还通过定点化后的移位运算代替了除法运算。本文将在图3上进行图像合成。 　　首先以图3整数点坐标为基准，计算出一张离散的坐标映射表。 　　假设在图3上覆盖满了若干个16×16的小方框（根据实验结果误差分析以及计算机移位规律选取的，方框大小可再调整）。选取方框顶点的坐标位置，通过式（3）和式（15），求取[Pl]的坐标[Pl]（X，Y）并存储起来，形成一张离散的坐标映射表。该坐标一般是一个浮点数，引入定点化的方法，将浮点数坐标值扩大64倍并四舍五入取整，存储为整数坐标。 　　接着利用离散的坐标映射表以及插值运算生成一张完整的坐标映射表。 　　采用常规的双线性插值方法，按照16×16的方框逐个进行。在每一个方框内部，利用式（16）插值出四条边的对应坐标，利用式（17）插值出方框的内部区域的对应坐标。其中f（1），f（2），f（3），f（4）分别指的是方框四个顶点位置的映射坐标。 　　遍历方框内部每一个点，使用上述方法进行插值，即可得到一张完整图像的坐标映射表。表1随机选取了10组点，进行映射坐标分析。插值计算坐标（本来是整数形式）换算成它的浮点数形式放在表1中，便于比较，两种方法均保留三位有效数