计算机视觉应用--深度估计.pptx

深度估计10.1

深度估计是计算机视觉领域的一项重要任务。深度估计就是获取图像场景中的每个点到相机的距离信息,这种由距离信息组成的图称为深度图(depthmap),图10-1所示为输入的图像(a)与输出的深度图(b)示例。深度估计的核心目标是理解和模拟人类视觉系统,使计算机能够感知和理解物体在三维空间中的位置和距离关系。这一任务具有广泛的应用前景,对于自动驾驶、虚拟现实、机器人导航、医疗影像等领域至关重要。小知识形状分析可以提取图像中的形状特征，用于物体检测和识别。10.1深度估计

10.1深度估计

10.1.1单目深度估计单目深度估计是一种计算机视觉技术,它可以从单张RGB图像中推断出每个像素的深度值,也就是它们与相机的距离。这是一种非常有用的技术,因为它可以帮助人们理解三维场景的结构和几何形状,在自动驾驶、增强现实或虚拟现实场景中具有广泛的应用。单目深度估计的难点在于单张图像本身并不包含足够的信息来恢复真实的深度,因此需要利用一些先验知识或假设。例如,场景的平面性、物体的大小、光照条件等。单目深度估计方法可以分为传统方法和深度学习方法。本小节着眼于深度学习在单目图像深度估计问题上的应用,采用有监督型与无监督型两类方式进行介绍。图10-2所示为常见的单目深度估计方法。10.1深度估计

10.1深度估计

2014年由DavidEigen等人首次提出用卷积神经网络(CNN)进行单目深度估计,基本思想是使用多尺度神经网络进行深度图估计。网络架构主要为两部分,分别是全局粗略尺度网络(globalcoarsescalenetwork)和局部精细尺度网络(localfine-scalenetwork)。全局粗略尺度网络预测全局场景深度,然后使用局部精细尺度网络微调局部,两个模块都在原始输入图像上应用,全局粗略尺度网络的输出作为额外的图像特征输入局部精细尺度网络第一层后的特征层中。1.基于有监督学习的单目深度估计方法10.1深度估计

全局粗略尺度网络包含卷积和最大池化的五个特征提取层,后面是两个全连接层。全局粗略尺度网络的上层是全连接层,因此具有足够大的感受野覆盖整个图像。下层和中间层通过卷积和最大池化将图像不同部分的信息组合到一个小的空间维度,使网络能够理解全局性的场景,从而来预测深度。网络读取NYUDepth数据集中的图像,图像尺寸大小为304×228,经过全局粗略尺度网络处理后,输出图像的尺寸大小为74×55,网络的输出是输入原图的1/4分辨率,输出的是粗糙的深度图。在将预测图传给局部精细尺度网络前,不依赖硬编码上采样,而是使用全连接层,允许整个顶层学习更大区域上的模板,这样的效果比直接对第5个特征提取层后获得图像尺寸为8×6的特征图进行上采样好。10.1深度估计

全局粗略尺度网络将粗略深度图输入给局部精细尺度网络进行局部优化,局部精细尺度网络第一层经过池化操作将输入图像尺寸变为74×55,这个尺寸大小与全局粗略尺度网络的输出一致,因此在网络第二层将粗略尺度网络的输出作为特征图与局部精细网络第一层结合起来共同作为输入,后续的两层卷积层进行0填充(zero-padded)保持特征图尺寸不变。训练时通过真实深度值训练全局粗略尺度网络,然后固定全局粗略尺度网络参数,训练局部精细尺度网络,最后得到精细深度图。图10-3所示为有监督学习的单目深度估计网络架构示意图。10.1深度估计小知识特征描述符用于表示图像中的特征点，常用的有BRIEF、ORB等。

基于无监督学习的单目深度估计的代表方法是由ZhouTH等人提出的利用一段由单目相机拍摄的图像序列作为训练集,采用无监督的方式训练神经网络进行单目深度估计。网络架构由两部分组成,即深度估计网络(DepthCNN)和相机位姿估计网络(PoseCNN),利用未做标记的单目图像序列来实现对单目深度网络和相机姿态估计网络的训练。图10-4所示为无监督学习的单目深度估计网络架构示意图。2.基于无监督学习的单目深度估计方法10.1深度估计

10.1深度估计

10.1深度估计

?10.1深度估计

(1)采用单目深度估计算法具有以下优势。10.1深度估计①硬件简单。单目深度估计只需要一个摄像头或单个图像,因此不需要额外的硬件,成本较低。②易于实施。单目深度估计通常不需要复杂的硬件设置或多个相机,这使得其实施相对容易,无须复杂的校准。③轻便。由于只需要一个摄像头,这种技术非常适合移动设备和嵌入式系统,因此可以应用于移动机器人和可穿戴设备等领域。

(2)采用单目深度估计算法也有以下劣势。10.1深度估计①深度精度有限。相对于使用多个传感器(如立体视觉)的深度估计方法,单目深度估计的精度通常较低,特别是在大范围内或光照条件差的情况下。②缺乏场景理解。单目深度估计通常只