第5章基于两幅图像的仿射重构与欧氏重构..docVIP

第五章 基于两幅图像的仿射重构与欧氏重构 上一章我们利用多视图（至少需要三幅图像），求解摄像机内参数，从而由射影重构直接实现欧氏重构。但在某些场合我们仅有两幅图像，能否由射影重构来实现欧氏重构？换句话说，我们能否从两幅图像来求解摄像机的内参数？如果没有摄像机的运动或场景的结构信息，基本矩阵是两幅图像间的唯一约束，它只能构成摄像机内参数的两个独立约束，而摄像机一般有5个内参数，因此从二幅图像我们不可能确定摄像机的内参数。所以，仅有两幅图像，而没有摄像机的运动或场景的结构信息可利用时，我们不可能从射影重构来实现欧氏重构。因为在实际应用中，控制摄像机作纯平移、纯旋转等运动是比较困难的，尤其是在手持拍摄的情况下更是如此，所以本章将主要讨论当场景的结构具有什么样的信息时，我们可能通过两幅图像由射影重构来实现欧氏重构。 本章内容：（1）讨论在不求解摄像机内参数的情况下，如何从射影重构（这里主要指求解两幅图像间的基本矩阵）实现仿射重构。（2）证明了可逆矩阵为无穷远平面单应矩阵的充分条件，以及从基本矩阵不能唯一确定无穷远平面单应矩阵。（3）系统地分析了如何利用场景中的结构信息，来唯一地确定无穷远平面的单应矩阵，以及如何通过绝对二次曲线的像求解将仿射重构变换为欧氏重构的单应矩阵。（4）总结了三种关于绝对二次曲线的像的约束，并利用这些约束求解绝对二次曲线的像，进而实现从仿射重构恢复欧氏重构。 在本章中，我们仍假定摄像机在运动（运动参数未知）过程中其内参数是保持不变的。 5.1从射影重构到仿射重构 5.1.1仿射重构的本质 仿射重构的数学定义如下： 假设摄像机从2个视点对P个三维空间物体点拍摄2幅图像，其中（j=1,2,…,P）为第j个三维空间物体点，它在第i（i=1,2）幅图像上的像点为，如果两个摄像机的投影矩阵为： 使得对于两幅图像上的对应点，由方程 所确定的空间点（指反投影）与实际空间点之间相差一个仿射变换，则称两个摄像机投影矩阵、为仿射重构的。 仿射重构的本质是确定无穷远平面的单应矩阵。已知两个摄像机投影矩阵、是仿射重构的，则无穷远平面的单应矩阵为： (5.1) 这是因为无穷远平面上的空间点的齐次坐标为，在两幅图像中的像点分别为、，因此，对上的空间点有 (5.2) 进一步可以验证式(5.2)在摄像机的3D仿射变换下是不变的。所以，无穷远平面的单应矩阵可以由仿射重构计算出来，并且反过来也成立。 不失一般性，在本章中我们将第一个摄像机的坐标系作为世界坐标系。这样，根据上述讨论，我们有： (5.3) 是仿射重构的，其中是第二幅图像上的极点。则无穷远平面的单应矩阵是 (5.4) 反过来，如果得到无穷远平面的单应矩阵H，则仿射重构的摄像机投影矩阵可以取为 (5.5) 从几何上也能说明仿射重构的本质是确定无穷远平面的单应矩阵。一个变换为仿射变换的充要条件是保持无穷远平面不变，即保持无穷远平面不变是仿射变换的唯一几何特性，所以仿射重构的本质是确定无穷远平面的单应矩阵。 研究表明没有摄像机的运动信息或场景的结构信息，仅已知两幅图像间的基本矩阵，我们无法确定无穷远平面的单应矩阵。如果摄像机仅作纯平移运动，则可以从两幅图像实现仿射重构。理解这一事实的一个简单办法是：无穷远平面上的一个空间点， (5.6) 在实际应用中，控制摄像机作纯平移等运动是比较困难的，尤其是在手持拍摄的情况下更是如此。因此，下面我们主要讨论场景具有什么样的结构信息时，我们可以从两幅图像进行仿射重构。 5.1.2可逆矩阵为无穷远平面单应矩阵的充要条件 无穷远平面的单应矩阵必为可逆矩阵，因此我们在讨论一个矩阵为单应矩阵的充分必要条件时，总假定矩阵是可逆的。由于在相差一个非零常数因子的情况下，，所以一个矩阵H为单应矩阵的充要条件是H与旋转矩阵相似。本节我们主要给出便于应用的充要条件。为此，我们先给出 引理1：设H为可逆矩阵，则 （1）若H有复特征值，则H为无穷远平面单应矩阵的充要条件是H所有特征值的模均相等； （2）若H无复特征值，则H为无穷远平面单应矩阵的充要条件为H所有特征值的模均相等且可对角化。 注1：引理1中的情形（1）是最常见的情况。情形（2）是极不常见的，因情形（2）等价于摄像机的旋转运动的旋转角是。因此，在本章中我们仅讨论情形（1），即假定H是具有复特征值的可逆矩阵。 证明： 在证明中，我们不妨假定det(H)=1，否则用代替H即可。 （1）的证明： 必要性显然成立，