基于深度学习的单目图像深度估计研究.pdf

基于深度学习的单目图像深度估计研究

摘要

单目深度估计任务是一种端到端的图像处理任务，从RGB图像中获得深度

信息，在自动驾驶、三维重建、增强现实等方面有着广泛的应用前景。随着深度

学习的发展，深度估计也逐渐成为热点研究课题。根据场景的不同，数据集的采

集方式也不同，由此分为两个方向，一种是以室内场景为主的有监督任务，一种

是以室外场景为主的无监督任务。本文针对不同场景的不同问题，提出了两种不

同的方法，主要创新工作如下：

（1）室内场景的数据采集一般使用结构光相机，深度图获取较为容易，且

深度图的深度值也是稠密的，所以根据这一特点，对于室内的场景本文采取有监

督的深度估计。传统ASPP（空洞空间金字塔池化，atrousspatialpyramidpooling）

模块只考虑了提升卷积感受视野，但ASPP中的每次空洞卷积选取的像素点分

散，会丢失大量像素点间的信息。针对ASPP模块这一弊端提出了一种动态密集

的DSPP（动态空间金字塔池化，dynamicspatialpyramidpooling）模块。该模块

用一种动态卷积代替空洞卷积，结合ASPP的思想，采用不同大小的卷积尺寸，

并结合通道注意力充分利用每一层的特征。优化了ASPP丢失信息的问题。在

NYUDepthv2数据集上与主流算法相比深度图在均方根误差（RMSE）上降低了

12.5%到0.407，并且准确率（δ1.25）提高了3.4%，达到0.875，验证了算法有

效性。

（2）室外场景由于光照影响，结构光相机无法使用，所以一般采用激光测

距的方式。激光测距虽然准确但是获得的深度图是稀疏的点，监督算法需要稠密

的深度图用作监督，所以对于室外的场景本文采取无监督的深度估计。在无监督

深度估计中，场景结构和全局信息都是重要线索。基于CNN（卷积神经网络）

的网络是由多个卷积叠加而成的，这些卷积尺寸通常较小，所以对全局信息的感

知不足，这会导致性能瓶颈和预测深度图中的模糊伪影。本文提出：1）轻量化

自注意模块采用自注意机制来捕获长距离依赖，在不增加额外参数量的情况下获

得了全局视野，以更好的场景理解和丰富的特征表示为后面的模块提供更多的细

节。2）空间注意力模块采用可学习的方法，先从通道这一角度，获取不同的信

息，再从单个特征图的角度，获得全局的细节信息。该模块旨在融合不同角度的

不同信息，从而实现更精确、更清晰的深度估计。这两个模块相辅相成，构成联

合全局信息模块。该模块综合两个模块的优点，优化了CNN在无监督任务上的

不足。在KITTI数据集上与主流算法相比，第一阈值准确率相当，RMSE减少

2.4%，SqRel减少10.7%，效果有较大提升，能够有效的提高无监督深度估计的

效果。

大量的实验验证了本文的方法的有效性，结果表明本文模型在KITTI和NYU

Depthv2数据集上与主流方法相比有明显优势。

关键词：单目深度估计，无监督，深度学习，注意力机制

ResearchonMonocularImageDepthEstimationBasedon

DeepLearning

ABSTRACT

Thetaskofmonoculardepthestimationisanend-to-endimageprocessingtask

thatobtainsdepthinformationfromRGBimagesandhasawiderangeofapplications

inautomaticdriving,3Dreconstruction,augmentedreality,andotherfields.Withthe

developmentofdeeplearning,depthestimationhasgraduallybecomeahotresearch

topic.Accordingtodifferent