计算机视觉17 9.1 单幅图像深度重建.ppt

常量项 可变项 2 互反射 表面片的辐射度受场景中所有该表面片可见的其他表面片辐射度的影响. 光源引起的辐射 其他表面片引起的辐射 可将其他表面片看作一个面光源 变换为面光源上的积分 互反射 互反射核函数 (interreflection kernel)： 互反射模型： Lambertian表面的有效模型，在计算机图形学中广泛应用. 互反射模型 表面辐射度的计算 1.将场景中的所有表面划分为许多小的平面片，假设平面片上各点的辐射度是恒定的. 第j平面片在第i平面片上引起的辐射度： 互反射模型 2. 计算第i表面片上的总辐射度： 3. 获得以 为未知量的线性方程组，求解得各表面片上的辐射度 1.5 反射图(Reflectance Map) 场景照明（光源）、表面反射特性和表面方向（梯度表示）共同确定表面一点的亮度，三者的组合形成反射图. 假设图象平面上的辐照度（亮度）等于物体表面对应点的辐射度，则已知反射图和以上三个因素，就可以确定图象上一点的亮度.反之同样成立. 灰度图象 轮廓图象 点光源照射的Lambertian表面典型反射图 1.6 从明暗恢复形状 问题： 已知光源亮度和反射图，求解图象上每一点 对应的三维信息 基本假设 光源为无限远处点光源; 反射模型为朗伯体表面反射模型(Lambertian Surface Model) ; 成象几何关系为正交投影, 这样物体表面点图象亮度E 仅由该点光源入射角θ的余弦决定. 从明暗恢复形状 若以摄像机坐标系为参照系, 并将物体表面高度表示为z = z (x , y ) , 则物体表面法方向可由其表面各点法向量n = (n1, n2, n3 )、表面梯度(p , q) 或表面倾角(slant) γ和偏角(tilt) τ表示. l 为表面点法向量的模 从明暗恢复形状 朗伯体表面反射模型就可以表示为: 或者: E (x , y )为归一化的图象亮度, R (p , q) 为反射函数. n0= (n01, n02, n03) 或(- p0, - q0, 1) 表示光源方向 从明暗恢复形状 一般情况下, 仅由该模型所确定的SFS问题是病态的(没有唯一解),因此为消除其病态性,并建立相应的正则化模型,必须对其表面形状进行约束. 现有的SFS算法基本上都假设所研究的对象均为光滑表面物体, 即认为物体表面高度函数C2(或至少是C1)是连续的,实际上,通过建立物体的光滑表面模型这种假设,已对其表面形状进行了约束. 将上述物体表面反射模型与物体的光滑表面模型相结合, 再利用一些已知约束,就构成了SFS 问题的正则化模型. 从明暗恢复形状 约束 1. 亮度约束 2. 光滑性约束 或者， 从明暗恢复形状 3. 可积性约束 4. 亮度梯度约束 或者， 从明暗恢复形状 5. 单位法向量约束 6. 局部形状约束 假设表面片的形状是球面. 7. 线性约束 假设反射图的低阶分量是其主要成分. 从明暗恢复形状 具体方法 1. 能量最小化方法 2. 约束传播方法 3. 局部方法 4. 线性方法 （1）能量最小化方法 将约束表示为能量函数，通过在整幅图像上最小化能量函数求解. 例(Zheng and Chellappa, 1991)： 亮度约束、亮度梯度约束和可积性约束 用变分微分法求解 （2）约束传播方法 从形状已知或可以确定其形状的表面点（如奇异点(singular points) ）开始，逐渐将形状信息传播到整个图象. 例(Bichsel and Pentland, 1992)： 设定初始值，然后采用最小下山策略更新形状信息. 在每一次迭代中，只有当点与周围邻接点相比，距离光源较远时才需要改变其深度（下山），而在传播路径上选择可以使该点到光源距离最近的路径（最小）. （3）局部方法 假设表面片的形状在局部上是球形，根据图象亮度以及亮度梯度信息求解. 例(Lee and Rosenfeld, 1985) ： 首先计算在光源坐标系中表面的倾斜角和偏转角，然后变换到摄像机坐标系. 表面偏转角 光源倾斜角 光源偏转角 （4）线性方法 假设反射图主要由其低阶分量确定，实现反射图的线性化，将非线性问题转化为线性问题求解. 例(Pentland, 1988)： 1. 对反射函数作Taylor展开，并取低阶项，得： 线性方法 2. 对两边作Fourier变换，得： 求 ，然后作Fourier反变换，得深度图 合成图象 实际深度图 Zheng and Chella