基础矩阵.docVIP

基础矩阵及其求法 同一三维场景在两个不同视点处得到的两幅二维图像之间的几何关系——极几何以及极几何的代数表示——基础矩阵。两幅图像可以是由两个摄像机在不同位置同时采集的，也可以是同一摄像机顺序采集的，例如摄像机相对场景移动。对于这两种情况，几何上认为是相等 的。 一般地，同一世界坐标系下的同一物体的图像间存在一种几何上的对极约束关系。在立体视觉中，可以利用图像点的匹配来恢复这种几何关系，反过来，也可以利用这种几何关系来约束匹配，使得对应点的搜索范围由二维平面降低到对应一维极线，使得匹配的鲁棒性、精度都得到很大提高。 对极几何关系在数学上可以用基础矩阵F 来表示，因此，对极几何问题就转化为对基础矩阵 F 的估计问题。精确地计算F 对于标定、寻找精确匹配和三维重建都有重要意义。 2.1 基础矩阵 假设在一个立体视觉系统中，有两个摄像机，如图2.1所示，设C和C’分别为两个摄像机的光心，两个摄像机获得的图像分别为I和I’，M为三维空间中任意一点，m和m’是点M在两个图像上的像点（投影点），称m和m’为一对对应点。连接光心C和C’的直线称为基线。空间点M和两个光心C和C’共面，设它们所在的平面为π，该面称为极平面。极平面与图像平面的交线l和l’称为极线。因为m（m’）也同时在平面π和像平面I（I’）上。从这里可以看出，寻找m（m’）的对应点m（m’）时，不必在I（I’）整幅图像中寻找，只需在m（m’）在I（I’）的极线上寻找即可。这就提供了一个重要的极线约束，将对应点的搜索空间从二维降到了一维。当三维空间点M移动时，产生的对所有极线都穿过极点e(e’)，极点是极线与图像平面的交点。 图2.1两幅图像间的对极几何 2.1.1 参考坐标系 为了描述基础矩阵，首先需要定义四个参考坐标系：图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系。 摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素（称为像素，pixel）的值即是图像点的亮度。在图像上定义直角坐标系 u-v，那么(u , v )是以像素为单位的图像坐标系坐标，如图2.2所示。 图2.2 图像坐标系和成像平面坐标系 图像坐标系表示像素位于数字图像中的列数和行数，而成像坐标系用物理单位（例如毫米）表示出该像素在图像中的物理位置。如图2.2所示，在 x-y坐标系中，原点O1定义在摄像机光轴和图像平面的交点处，称为图像的主点（principal point），该点一般位于图像中心处。若O1在u-v 坐标系中的坐标为 (u0,v0)，每个像素在x 轴和y 轴方向上的物理尺寸为 dx ,dy ，则两个坐标系的关系如下： (2.1) 摄像机成像几何关系可由图2.3表示，其中C 点称为摄像机光心，Xc轴和Yc轴与成像平面坐标系的X轴和Y轴平行，Zc轴与成像平面垂直，称为摄像机的光轴。光轴与成像平面的交点为图像主点C1，由点 C 与Xc, Yc ,Zc 轴组成的直角坐标系称为摄像机坐标系。 CC1为摄像机焦距。 我们用世界坐标系来描述真实世界环境中摄像机和物体的位置。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述。由此，空间点M在世界坐标系和摄像机坐标系下的齐次坐标(Xw , Yw , Zw,1) T与 (Xc , Yc, Zc,1) T存在如式(2.2)的关系，其中R是3×3旋转矩阵，t是3维平移向量，0= (0,0,0)T，P是两个坐标系之间的变换矩阵。 图2.3摄像机成像几何 （2.2） 2.1.2摄像机模型 2.1.3 基础矩阵 基础矩阵是对极几何的代数表示。设两个摄像机的投影矩阵分别为和。则两个摄像机的投影方程如下： (2.6) (2.7) 其中，M为三维空间点M在世界坐标系下的齐次坐标：m、m’分别是投影点m、m’在图像坐标系下的齐次坐标；将投影矩阵P1和P2中左面的3×3部分记为和，右边的3×1部分记为和。如果将记为,其中，则式（2.6）、（2.7）可展开为 (2.8) (2.9) 将上式消去M得 (2.10) 定义2.1 如果t为三维向量，,称下列矩阵为由t定义的反对称矩阵，记为。 令等于式（2.10）右端的向量，即 (2.11) 用左乘式（2.10）两边，则由可得 （2.12） 将式（2.12）两边除以，并令,得 （2.13） 式（2.13）右边向量为，可见该向量与正交，将左乘上式两边，并将所得两边除以Z后得到下式： （2.14） 令，则式（2.14）可以改写成： （2.15） 矩阵F是立体视觉与运动视觉中一个非常重要的矩阵，称为基本矩阵。 式(2.15)的重要性在于它给出了一个描述基本矩阵的方法：不需要摄像机的投影矩阵，而仅需两幅图像间的对应点。这就使得我们可以利用对应点的