基本矩阵的估计和图像矫正..docVIP

0 引 言 F矩阵描述的是从不同拍摄点拍摄同一场景的图像时两图中点的对应关系，它还提供有关位置和摄像机参数的信息。 计算F矩阵最常用的是八点算法。要得到至少八个对应的图像点对。在这种算法下，我们可以很容易的使用线性方法来估计矩阵。但是八点算法对额外噪声十分敏感。为了克服这一缺点。哈特利（《计算机视觉中的多视图几何》的作者）引入一个坐标使图像标准化归一化。但是这种线性方法有一个缺点，那就是排除了秩等于2的约束。为了强加约束，这个F矩阵是利用奇异值分解重建获得的。这就造成了另一个问题：这个重建的过程会产生额外的噪声。 为了减少噪声，哈特利又应用非线性优化设置七个变化参量来满足秩等于2的约束。关于那七个变量参数有很多相关的方法，我提出用一个标量的双四元数来描述矩阵。这些参数代表对一个图像缩放和旋转。也就是说，我们对原图像进行了旋转。通过使用这些旋转，我们创造了一个新的图像矫正方法。 对于立体匹配来说，图像矫正是不可或缺的部分。它把任务由二维搜索变为一维搜索，减轻了任务量。流行的矫正方法大致可以分为两类：平面法和极性法。 平面矫正法是对图像进行透视变换，这是容易理解且易于实现。然而，这种方法不能处理那些极点位于图像内部的图像对。极点矫正法能够处理这种情况，但他们需要根据极点的位置进行一些繁琐的预处理。 F矩阵最麻烦的地方在于它的秩等于2，没有逆矩阵。为了计算F矩阵，人们提出了八点算法。这是一种易于实现的线性算法，但是对噪声太过敏感。人们又提出一种基于图像坐标归一化和非线性最优化的八点算法。还有很多其他成本函数最小化的方案。一些人采用另一种参数化的七自由度的方法来满足秩等于2的约束。对于线性求解，七点匹配是可以用于F矩阵的。 图像矫正技术与F矩阵关系密切，所以密集点的匹配是不可或缺的。通过矫正，两图片中所有的极线会水平对齐，将二维搜索变为一维搜索，使得任务大大减轻。本质上来讲，图像矫正是一种旋转。 另一方面，一些矫正方法已经适用于非标定图像对。非标定图像的矫正比标定图像更有用，因为准确的估计的相机参数是困难的，哪怕只有一个像素的错误就不利于准确匹配。 1 F矩阵的估计 1.1对极几何(两视几何） 对极几何描述的是场景中的三维点和一对图像点之间的关系。给定一个场景中三维点P被映射到I和I0两图像中，这三个点就构成一对极几何（图1）。点C和C0表示分别图像I和I0相机中心。三点P，C和C0组成平面，这就是所谓的极平面。每个图像平面与极平面相交，称为极线；一点投影在一个图像会有一个对应点位于其他图像平面的极线上（极线约束）。这个约束是指当我们有两个图像I和I0，和一点P在I上，如果我们要寻找在I0上对应点P0，仅沿极线搜索就可以了。假设I平面上的点对图像和I0平面上的点都是是P的投影点，增加了齐次坐标的二维图像坐标，这样笛卡尔坐标下P和P旋转为射影坐标和。采用这种画法，极线约束表现为以下形式： （1） 图1。对极几何 Fig. 1. Epipolar geometry 在两幅图像之间，F矩阵将点 m 映射为对应的对极线，将对极点映射为0。不能提供对应点间的一一对应。 F是一个3x3的矩阵。F矩阵的有秩等于2的约束，这是由于所有极线必须通过图像的极点。 1.2八点算法的重新审视 对于给定的图像对，常用八点算法来线性的估计F矩阵。对应的点和，由线性系统得到方程： （2） 其中 （3） （4） 其中f由F矩阵获得： （5） 同时有约束条件 需要获得至少八个对，我们才能求解出（2）的估计矩阵。在刚才的过程中我们没有考虑“矩阵秩等于2”的约束。为了满足这一约束，选取满足约束和的Frobenius范数最小的作为F矩阵。具体的方法如下： 首先，对没有秩等于2约束条件下的矩阵进行奇异值分解分解（SVD）如下： （6） 如果有在上述过程中无噪音，第三个奇异值，应该是0。因此，以下矩阵可以取代作为约束矩阵的秩等于2： （7） 这个重构矩阵可以作为F矩阵。这个过程实现了估计矩阵的秩为2的约束，但它引入附加噪声。 为了解决这个问题，大多数工程在下一步采用非线性优化方法。由于对应点必须位于极线的约束，我们可以设计下面的几何成本函数： （8）