计算机视觉19 9.3 单幅图像深度重建3 SFT.ppt

7 从纹理恢复形状 根据纹理属性变化与表面形状的关系恢复表面形状. 三种效应： 透视缩小(与表面方向有关) 缩放和密度变化(与观察者 和纹理基元的距离有关) 基准维(characteristic dimension)： 没有发生透视缩小的方向 从纹理恢复形状 几种方法 Bajcsy-Lieberman方法：利用基元尺寸梯度，求相对深度; Witken方法：利用边缘方向分布，估计表面方向; Blostein-Ahuja方法：利用基元面积梯度，估计表面方向. 椭圆长短轴在缩小（缩放效应） 缩小速度长轴为线性，短轴为二次（透视缩小效应，长轴方向为基准维） Blostein-Ahuja方法 假设表面为平面，纹理基元单一且无深度差 恢复公式（依据）的推导 1. 为简化推导，将坐标系统转换到tilt方向 2. 根据透视投影模型，建立任意基元长短轴与中心基元长短轴的长度关系； 3. 将上述关系转化为任意基元与中心基元的面积关系. 坐标系统变换 透视投影模型 Blostein-Ahuja方法 形成表面方向估计依据 为未知参数空间，根据纹理图象从中搜索最佳结果： 将该空间离散化，对于每组值，计算图象中各个位置上的纹理基元面积，与实际面积比较，获得拟合度，取最佳拟合度对应的结果. (表面拟合) → Blostein-Ahuja方法结果示例 基于3D纹理信息的深度估计算法 SFT的传统方法是通过建立一个随机场模型描述图像中纹理信息，通过学习得到模型参数，实现场景深度重建，但由于此类方法使用的是局部的、二维纹理信息，因此所建立的模型中无法完全反映出场景中各目标间的空间关系。近几年来，针对此类问题的研究逐渐向使用全局的、多尺度的、分层次的纹理信息方向发展，并已经开始应用于实际系统中。 2006年，斯坦福大学的Andrew教授等人应用机器学习的方法，采用分层的多尺度马尔科夫随机场模型，通过对大量的训练集数据的学习，建立室外场景图像中各目标间的空间关系模型，并将取得的结果应用在无人汽车的自主导航中。 这种利用全局的三维几何纹理信息的方法，实际上就是在利用了图像“质地变化率”的同时也利用了图像中的遮挡信息（空间关系）。 3-D Depth Reconstruction from a Single Still Image Ashutosh Saxena, Sung H. Chung, Andrew Y. Ng ,2007 1.Visual Cues for Depth Perception Monocular Cues texture variations, texture gradients, interposition, occlusion, known object sizes, light and shading, haze, defocus, etc. global information, local information. Stereo Cues Motion Parallax and Focus Cues 2.Feature Vector The image is divided into small rectangular patches, and estimate a single depth value for each patch. Two types of features: absolute depth features—used to estimate the absolute depth at a particular patch—and relative features, used to estimate relative depths. Feature Vector three types of local cues: texture variations, texture gradients, color. Capture cues Laws’ masks(3*3)------- texture variations Oriented edge filters(6)------- texture variations Color channel(2)------- color 2.1 Features for absolute depth Features for absolute depth initial feature vector---sum absolute energy and sum squared energy, multiple spatial scales---capture more g