第3章 视图射影重构.doc

第三章 多视图射影重构 多视图（三幅以上）分层重构的基本思路： （1）射影重构 　　　　①估计射影深度； 　　　　②构建一个关于射影深度和图像坐标的测量矩阵； 　　　　③通过矩阵分解的方法，求解射影空间下的摄像机运动参数和空间物体三维三维[1-24]，其中矩阵分解方法经理论和实验证明是一种非常有效的方法，是近年来研究的焦点之一[1]。 本章从摄像机模型出发，详细推导了透视模型与仿射模型的关系，讨论了射影深度的性质，为迭代估计射影深度时合理选择初始值，提供了理论依据。介绍了基于奇异值分解的射影重构算法的一般框架，分析并实现了基于基本矩阵和极点的射影深度估计算法。以测量矩阵的秩为4作为约束，以仿射投影逼近透视投影，提出以下迭代估计射影深度的方法：①基于共轭梯度法的估计射影深度算法，②基于遗传算法的估计射影深度算法。在获得正确的射影深度后，通过奇异值分解将测量矩阵分解为射影空间下的摄像机运动和物体三维几何形状（射影重构）。实验证明：相对于基于基本矩阵和极点方法来计算射影重构，我们所提出的方法对噪声具有更好的鲁棒性。 3.1多视图摄像机模型 根据第二章所述，我们可以写出多视图摄像机模型。 假设摄像机从F个视点对P个三维空间物体点拍摄F幅图像，如图3-1所示。其中（j=1,2,…,P）为第j个三维空间物体点，它在第i（i=1,2,…,F）幅图像上的像点为。这样，我们可以给出摄像机的多视图投影方程为： （3.1） 其中是一个3维向量，是一个3×3旋转矩阵，分别表示第i个摄像机的位置和方向，是一个3×3上三角矩阵，表示摄像机的内参数，表示空间点到第i个视点的射影深度。令，即为一个2×3矩阵,表示的第一、二行，为一个3维向量，表示的第三行，则 （3.2） 从（j=1,2,…,P）中任取一点作为参考点，令它在第i幅图像上的像点为。将世界坐标系原点平移到，同样，将每一个图像坐标系原点平移到，记： 令，则式（3.2）可改写为： 即 （3.3） 由于是在第i幅图像上的像点，所以 进而得 代入式（3.3）可得 （3.4） 式中 为参考点的深度、3.4)称为透视摄像机模型。 如果相对于充分小，则由式(3.4)可近似得到: 　　（3.5） 式(3.5)称为仿射摄像机模型。 图3-1多视图投影示意图 3.2基于奇异值分解的射影重构 3.2.1多视图测量矩阵 引入齐次坐标向量和，分别表示空间物体点和其像点的齐次坐标，同时，令 这样，根据式（3.4）,我们可以得到以下投影方程： 　 （3.6） 其中表示第i个摄像机的投影矩阵，是一个3×4秩3的齐次矩阵。 对于F幅图像和P个空间物体点，则有： 　 （3.7） 其中矩阵称为测量矩阵，式（3.7）表明可以分解为一个表示摄像机运动的矩阵和一个表示空间物体形状的矩阵。在一般情况下，由于未知，从而也未知，其分解式（3.7）更不得而知。下面我们先来讨论一下射影深度的性质。 3.2.2射影深度 射影深度是一个比例因子，它完全取决于、和所采用的归一化约束。为了便于说明，将式（3.1）改写为： （3.8） 当图像点坐标、空间点坐标以及投影矩阵被仿射归一化时，即对应的齐次坐标的最后一个元素取1。由式（3.8）可得： （3.9）是的第三行，表示一个通过摄像机光心且平行于像平面的平面，称为摄像机光平面。如果是一个无穷远平面，则任何有限远点的射影深度均变为： 此时摄像机为仿射摄像机。因此，也就不需要恢复射影深度了，通过对测量矩阵进行SVD分解，即可获得射影意义下的摄像机的运动和空间物体的形状。 另外，如果是一个有限远平面，并且在欧氏意义下将的前三个元素归一化为一个单位向量，即取 其中表示向量的欧氏范数，在这种情况下 即，射影深度就变成了传统的光学深度，也就是到光平面的正交距离。 我们还可以引入一个3D参考平面和一个参考点，对和进行归一化处理，使 这种归一化是可以实现的。先选择和，使之满足，由于和都是齐次化的，在相差一个非零常数因子的情况下，其非齐次元素是相等的。所以，可以对选择一个适当的常数因子，使，对选择一个适当的常数因子，使，因此可以实现上述归一化处理。 经过这种归一化处理之后，我们可得到： (3.10) 其中是一个射影不变量，称为交比，可用来表示。式（3.10）表明：经过这种归一化处理之后，射影深度可以利用射影不变量—交比来确定。 如果或者，则。当时，我们有 即相当于仿射归一化的情况。当时，摄像机即变为仿射摄像机。 结合3.1节的分