9.3单幅图像深度重建SFT.ppt

Laplacian model Experiments Data collection, using a 3-d laser scanner to collect images and their corresponding depthmaps Experiments Experiments original image, (b) ground truth depthmap, (c)predicted depthmap by Gaussian model, (d) predicted depthmap by Laplacian model. Gibbs随机场 当且仅当随机场的配置服从Gibbs分布时，称为Gibbs随机场: 规范化常量，称为划分函数（partition function） ：温度常量，常取1 所有团势能之和，称为能量函数(energy function) ：团势能(clique potential) Gibbs随机场 物理意义 配置的能量越小，其概率越大 均匀性 (homogeneity)： 与团在随机场中的位置无关 与位i无关 各向同性(isotropic)： 与团的方向无关 在纹理领域，Markov(Gibbs)随机场具 有均匀性 或者说， Gibbs随机场 Hammersley-Clifford定理 Markov随机场与Gibbs随机场等价 意义： 既可以用局部成分的相互影响来建模，也可以用全局能量来建模. 如何确定团势能的形式和参数是Markov(Gibbs)随机场的主要工作. 划分函数的计算复杂度很高，是一个难题，实际多做一定简化. 2.5 信号处理方法 认知心理学(psychophysical)研究表明，人类在分析纹理图象时，将图像分解为不同的频率和方向成分. 对图象作频率和方向选择性滤波，得到相应特征. 空域滤波 频域滤波 Fourier变换(Fourier transform) Gabor变换与小波(Wavelet)变换 纹理图象 特征图象 水平信号 高通滤波 局部能量 2.5.1 空域滤波 局部模板法 设计一组具有频率选择性的模板，与图像做卷积. 局部矩法 以每一个像素为中心，计算局部窗口内的矩特征值，形成特征图像. 相当于用一组模板对图像进行滤波. 2.5.1 空域滤波 The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filters and 4 low-pass Gaussian filters. 2.5.2 Fourier变换特征 对图像做Fourier变换，根据能量谱和相位谱定义纹理特征. 纹理图像及其Fourier变换 各个环(ring)区域和劈(wedge)区域内的总能量 组成纹理特征矢量. 反映纹理方向 反映纹理尺寸 2.5.3 Gabor变换与小波变换 Gabor变换（高斯窗口） 小波变换： 窗口宽度随频率变化而变化 (D. Gabor, 1946) Gabor变换纹理特征 二维Gabor滤波器具有频率和方向选择性 Gabor纹理特征提取的一般步骤： 1. 用不同尺度和方向的Gabor滤波器对图像进行滤波，得到一组子图像； 2. 对各个子图像做一定处理； 3. 根据子图像计算相应特征，形成特征矢量或特征图像，比如子图像窗口内的标准差. Gabor变换纹理特征示例： (a) 纹理图像 (b) 滤波图像 (16,135度) (c) 滤波图像 (32,0度) (d) 特征图像(b) (e) 特征图像(c) 小波变换纹理特征 对图像作小波变换， 分别得到水平和垂直方向上的高频和低频子图像，可以对低频子图像或每个子图像再作同样的变换. 根据最后得到的每个子图像计算一个特征，如能量，墒等，形成纹理特征矢量. 3 从纹理恢复形状 根据纹理属性变化与表面形状的关系恢复表面形状. 三种效应： 透视缩小(与表面方向有关) 缩放和密度变化(与观察者 和纹理基元的距离有关) 基准维(characteristic dimension)： 没有发生透视缩小的方向 3. 从纹理恢复形状 几种方法 Bajcsy-Lieberman方法：利用基元尺寸梯度，求相对深度; Witken方法：利用边缘方向分布，估计表面方向; Blostein-A