9基于几何光学的单幅2维图像3维重建.docVIP

第六章 基于几何光学的单幅二维图像三维重建 单幅二维图像进行三维重建一直是计算机视觉领域的难题，因为每一图像点都有无限多个场景点与之对应。故从光学成像的角度分析，单幅二维图像三维重建问题好像不存在较为通用的解决方案。然而反思人类自身视觉经验，仅用一只眼睛观察单幅二维图像，同样能感觉到栩栩如生的三维世界。而且完成这一过程是不需要任何意识努力，好像是全部自动进行的。这些表明人类视觉系统能轻松解决这个问题。人眼与照相机的光学成像机制几乎完全相同，故模拟人类视觉系统，计算机对单幅二维图像进行三维重建又是完全有可能的，这正是本章研究工作的基本思路与逻辑起点。 单幅二维图像三维重建问题的难点在于对单幅二维图像深度估计，本文第五章提出解决解决这一问题的有效方法。本章将在第五章提出的深度模型(图5-1)的基础上，研究基于几何光学的二维图像三维重建算法。本质上讲，大小恒常性变换就是一种单幅二维图像三维重建过程。故本章也对基于心理学的重建方法与基于几何光学的重建方法进行比较，继续探讨在计算机视觉中应用视觉心理学结论的适应性问题。 引言 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力，然后达到认识世界的目的，故二维图像三维重建一直是计算机视觉的主要内容。计算机视觉奠基人 Marr名著《Vision》的中心内容就是力图阐述如何从二维图像出发，重建客观世界物体的三维模型。从上世纪60年代以来，许多学者从不同的角度，提出了不同的三维重建方法，主要分为以下五类：多相机立体视觉、光度学立体视觉、用阴影求形状、基于模型重建及三灭点重建等，下面分别叙述。 (1)多相机立体视觉[Stewenius 2005][Rajagopalan 2004][Cheng 2005] [Williams 2005] [马颂德1998, pp72-93]。这是指用两架或多架照相机对同一空间场景进行拍照，得到同一场景不同视角的两幅或多幅图像，并用这些图像恢复三维空间几何形状的方法。如图6-1所示，用两架照相机C1与C2同时观察三维空间中P’。如果我们能确定照相机C1得到图像上的像点P1与照相机C2得到图像上的像点P2都是空间中点P’所成的像，则称P1与P2为两幅图像间的对应点。因此空间点P’ 既位于直线O1P1，又位于直线O2P2上，故P’ 是直线O1P1与直线O2P2的交点，所以它的三维位置是唯一决定的。这就是多相机立体视觉的原理。这种方法的优点是，只要找到两幅图像间的对应点，可以精确地计算出空间点的三维坐标，同时可以避免边缘检测、图像分割等难题。这种方法缺点是，在两幅图像间，寻找对应点也是计算机视觉中难题之一。虽然人们已经提出了各种有效约束，如极线约束、相容性约束、唯一性约束、相似性约束、连续性约束等[Marr 1982, pp114-121]，并提出了多种不同方法，如相关法、特征点匹配法、极线整体匹配法，但是对应点匹配问题并没有得到完美解决，有时不得不使用第三个照相机。 (2) 光度学(Photometric stereo)立体视觉[Nayar 1990][马颂德1998，pp203-205]。与多相机立体视觉方法不同，该方法使用同一相机在不同的光源照射下对同一物体拍摄多幅图像。因为光源不同，多幅图像的强度值也就不同。图像强度值是物体表面法向量(朝向)、表面照明方式、表面反射率三者的函数。如果已知光源方向，仅考虑表面散射反射率kd (可看作常数)，则计算物体表面某点P的单位法向量只有三个独立参数(单位法向量中有两个，另一个是kd)，故至少需要三个不同光源(即三幅图像)。图6-2显示了这种方法的原理。具体计算过程分两步进行：先计算物体表面单位法向量n；再由n通过求解偏微分方程计算物体的相对几何形状。与一般的立体视觉相比，光度学立体视觉的一个重要优点是不需要进行图像间的对应点匹配，这是因为物体与照相机的相对位置没有变化。但这种方法也有不少缺点。首先，这种方法需要至少三个已知方向的相同光源，分别照射物体以得到不同的图像，这在现实中很难做到。其次，要假设场景中的照明性质与表面性质处处相同。 (3)用阴影求形状 [Horn 1989] [Forsyth 2003，pp80-85][Castelan ]。这种方法的原理与光度学立体视觉方法的原理基本相同，不同的是该方法只需一个已知光源及在该光源照射下得到的一张图像。如果假定已知表面散射反射率kd，则计算表面单位法向量(朝向)n还有两个独立参数，但只有一张图像，故需要其它的约束条件。通常假定表面是光滑的，表面法向量(朝向)的变化也是光滑的(即可微的)。对这个假定的通俗理解是：假如我们在一个阳光照射的山坡上行走，通过观察，知道了所站位置的表面朝向及朝向的局部变化情况，那么当沿某一方向在山坡上走动时，就能根据阴影来推断