双目视觉三维重构公式.docVIP

双目视觉三维重构总结 1 照相机成像过程 数码照相机的成像过程可通过四个坐标系的三次转换来表达，这四个坐标系分别为：（1）世界坐标系—根据自然环境所选定的坐标系，坐标用（）来表示。（2）光心坐标系（相机坐标系）—以相机的光心O为坐标原点，轴、轴分别平行于CCD平面的两条垂直边，轴与相机的光轴重合，坐标用（）来表示。（3）图像坐标系—坐标原点在CCD图像片面的中心，X轴、Y轴分别为平行于CCD平面的两条垂直边，坐标用（x，y）表示。（4）像素坐标系—坐标原点在CCD图像平面的左上角，U轴、V轴分别平行于图像坐标系的X轴、Y轴，坐标用（u，v）来表示，该坐标值为离散的整数值。 图表 SEQ 图表 \* ARABIC 1 数码相机成像坐标系 三个转换过程分别是：（1）将世界坐标系中的信息转换到光心坐标系。（2）光心坐标系中的信息按照针孔模型规律转换到图像坐标系。（3）最后由图像坐标系转换成像素坐标系。 光学成像的理论模型是针孔模型，根据这个模型，空间任一点P由光心坐标系向图像坐标系的转换过程符合中心射影或透视投影理论，在图像坐标系中的投影P可以用光心O与P点的连线与图像坐标系平面的交点来表示，数学表达如下： 其中（x,y）是P点的图像坐标，（）为空间点P在光心坐标系下的坐标，f为相机焦距。可以用齐次坐标与矩阵表示上述中心影射关系： 图像坐标系与像素坐标系之间的转换关系如下： 其中、分别是表示CCD在x和y方向的像素点间距。齐次坐标及矩阵表示如下： 逆过程可写成： 相机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述，空间中某一点P在世界坐标系与相机坐标系中的转换关系如下： 其中和分别是空间点P在世界坐标系和相机坐标系中的齐次坐标，R为的正交单位矩阵，t为三维平移向量，,为0向量。 由此可以得到以世界坐标系表示的P点与其投影点P在像素坐标系中的坐标（u,v）之间的关系。 这就是针孔模型下数码相机的成像模型，其中 N称之为内部参数矩阵，H称之为外部参数矩阵，M为综合矩阵。 2 空间点的三维重构 空间点是构成三维空间结构的最基本单元，理论上可以由点形成线，由线形成面，再由各种面构成三维立体结构。计算机视觉中的三维重构，无论是全像素的重构，还是三维图形的重构，空间点的重构是其最基本的内容。在许多场合，三维空间结构中有许多特征点，确定了这些特征点的位置，也就能够确定这个三维结构，连接这些特征点就能形成空间结构图形。假定空间任意点P的世界坐标为：，点P在两个相机的成像平面上的像点分别为P1与P2，P1和P2的像素坐标分别为：（u1,v1）和（u2,v2），C1和C2相机的投影矩阵分别为： 图表 2 空间点在双相机中的成像关系 根据相机的成像模型有： 其中zc1和zc2分别为空间点P在两个相机的光心坐标系中沿光轴方向的坐标值。展开得到： 整理得到： 两个线形方程是三维空间的两个平面方程，两个平面方程式的联立为空间直线方程，即为两平面的交线。实际中，由于在提取已知数据时总是有噪声的影响，这里多数都采用最小二乘法来求解，用矩阵形式表示如下： 3 对极几何双目配准以及极点求解 在双目立体视觉系统中，数据是两个摄像机获得的图像，即左图像和右图像，如果Pa和Pb是空间同一点P在两个图像上的投影点，称为Pa,Pb为互对应点。如图所示，Oa,Ob分别为左右摄像机的透视中心，Oa,Ob和空间物点P构成一个平面，城为外极平面。外极平面与左右像平面的交线Paea、Pbeb分别为投影点Pa、Pb在左右像平面上的外极线。OaOb与左右像平面的交点ea、eb叫做左右像平面的极点。同一像平面上的所有外极线都应相交于e点，称为像平面的外极中心。 图表 3交向姿态双目视觉模型的对极几何关系 对任意一点在世界坐标系，左摄像机坐标系和右摄像机系下的非齐次坐标分别为 由 可以得到左到右的旋转矩阵和平移矩阵 再由 可以得到右到左的旋转矩阵和平移矩阵 左右摄像机坐标系变换关系 左摄像机到右摄像机的变换关系： 右摄像机到左摄像机的变换关系： 右极中心求解 左极中心求解 如果左像平面上一条斜率为ka并通过左外极中心ea的直线与右像面上一条斜率为kb并通过右外极中心eb直线对应，则这两条直线分别为同一外极平面与左右像平面的交线，它们有如下对应关系：