单目图像景深的研究 翻译Ashutosh.docVIP

单目图像景深研究 摘要：我们研究一个单目图像景深估计的研究任务。我们采取监督学习的方法来解决这一问题，我们开始收集一组图像（非结构化的室外环境，包括森林，树木，建筑，等）和相应的地面然后，我们采用监督的预测深度图图像的采用多尺度的局部和全局图像特征，与模型的深度不同点以及不同点之间的深度关系。计算机视觉中的基本问题，重要的研究和应用对视觉三维重建的大部分工作都集中在双眼视觉（立体视觉）[ 1 ]其他需要多个图像的算法，如运动结构[ 2 ]和离焦深度[ 3 ]。深度估计是一项艰巨的任务，需要我们考虑图像的全局结构，。在本文中，我们采用监督来非结构化的户外环境单目图像深度的问题，些含有森林，树木，建筑，人，车，灌木，等。Nagai等人[5]已知的固定的物体单一图像如手和脸进行表面重建。单视觉摄像机但很大程度上依赖于已知的地面颜色和纹理。在本文中，我们学习解决无约束的环境中从单一图像任务。我们的做法是基于捕获的深度和使用MRF的深度之间的关系。人类似乎非常善于从单一的单眼图像判断深度。[12]这是使用单眼线索，如纹理变化，纹理梯度，闭塞，已知物体的大小，霾，散焦，等[413，14]为例，许多物体的纹理在不同距离的观众看上去不同。depth）.1阴霾是另一个深度线索的体现，它是造成大气光散射的原因。 大多数这些单眼线索是“上下文相关的信息”，在这个意义上，它们是图像的全局属性，不能从小型图像补丁推断。例如，闭塞不能确定只一个遮挡物体的一小部分。虽然本地的信息如一个补丁的纹理和颜色可以给一些它的深度信息，这通常是不够准确确定绝对深度。需要看图像的整体组织确定的深度 3.1特性的绝对深度 将补丁i赋值，我们计算汇总统计如下。我们使用的17个输出（9法律的面具，有2个颜色通道和6个纹理梯度）滤波器 ，这里，分别代表了总和绝对能量和分别的平方的能量。这给出了3、4维的初始特征向量。 为了估计在一个补丁的绝对深度，局部图像特征，以补不足，（见图2）在不同的分辨率在不同深度的对象表现出非常不同的行为，我们利用多尺度特征捕捉到这些变化[16]。除了捕捉更多的全局信息，计算在多个空间尺度上特征也有助于。近的物体出现图像较大，同一对象在遥远的将是很小的，因此捕获规模小的。这种特征可能是深度强烈的指标。这是在三个尺度上重复，所以在一块的特征向量包含的功能它的近邻，其远的邻（在更大的规模）非常远的邻（在最大的尺寸），如图2所示。因此，我们也增加了一片额外的总结的特点是柱的特点。每个补丁后，包括在3个尺度本身和它的4个邻的特点，并对其4柱补丁汇总功能，我们的矢量的功能在一个特定的补丁估计深度是3.2特征的相对深度体来说，我们计算的直方图（10箱）的17个滤波器的输出集，这些特征被用来估计在两个不同的位置的深度。但更多的细节单独的补丁。因此，我们用我们的相对深度特征从两相邻块计算直方图之间的差异。例如，相邻两块位于同一建筑深处高度相关。我们将使用MRF模型的补丁和其相邻的深度的深度之间的除了相互作用与直接相邻的补丁，有时也并不是直接补丁深度之间强相互作用。所有这些补丁将在类似的深度，即使有小的不连续性（如在建筑物墙上的窗户）。我们的第一个模型将是一个联合高斯MRF。如下。对于每个S的三个尺度=1; 2; 3，定义，这里是与块S第四个相邻的块，即，深度在较高尺度被约束为深处的平均值在较低尺度。我们的模型上的深度是如下： （1） 在这里，M是图像的总块数（最低尺度）；是绝对的深度特征向量的补丁；是该模型的参数，，）对图像中的每一行，因为我们认为该图像是同一水平安装的相机拍摄的，因此图像不同的行有不同的统计特性我们估计参数在最大条件概率。由于该模型是一个多变量的高斯，参数的最大似然估计是通过求解一个线性最小二乘问题得到。单一的补丁第一项以上模型深度呈指数函数是固定不变的，该术语的效果是，它趋向于平滑跨越附近补丁深度估计。然而，在实践中程序之间的依赖关系是不一样无处不在，我们的期望值因此，为了提高精度扩展模型捕捉的第二项的分母“方差”，补丁和的相对深度特征的线性函数（第3.2节中讨论）。，这有助于确定哪些相邻块可能有相似的深度。例如，如果相邻的块是相似的，“平滑”的效果会强得多。这个想法是应用在多个尺度，让我们学会不同规模S（图像的轨迹）下的不同的。选择合适的参数以适应到的期望值，约束条件为（保持的非负的讨论，我们也学到了方差参数作为特征的线性方程。选择合适的参数以适应到的期望值，越是条件。项给出了一项中不确定性的量度，并且取决于特征。出于观察，在某些情况下，深度不能从局部特征可靠估计。在这种情况下，必须更多地依靠相邻块的深度推断的深度研究MAP的深处估计。由于公式1是高斯公式，有的二次项，因此其最大值是在封闭的形式很容易找到最多2-3秒每幅图