基于深度学习的自监督单目深度估计方法研究.pdfVIP

基于深度学习的自监督单目深度估计方法研究

摘要

三维环境感知在许多现实应用中扮演着重要角色，如自动驾驶、AR/VR和机器人等

相关应用。深度信息是三维环境感知的关键信息，如何高效并准确地获取它一直是人们

所关注的问题。尽管激光雷达等深度传感器可以很容易地获取到深度信息，但是大多数

深度传感器仍然代价昂贵，而基于学习的深度估计方法能够以较低的代价获取到深度信

息，因此得到了广泛研究。基于完全监督的深度估计方法能够取得较高的准确度，但是

需要依赖高精度的深度传感器来获取深度真值作为监督信息，这就限制了这些方法的使

用。自监督单目深度估计只需要一台相机，以目标帧与合成视图之间的光度重投影误差

作为监督，其训练过程无需依赖深度真值，这使得它们应用起来更加方便，因而得到了

广泛的关注。本文研究了基于视频序列的自监督单目深度估计算法，针对目前自监督单

目深度估计方法存在的问题，提出了两个有效的解决方案。本文的主要工作及贡献如下：

（1）基于谱非局部机制和自适应激活的单目深度估计。现有的单目深度估计方法

广泛采用基于U-Net的编解码架构，然而编码器不断的下采样会引起空间细节的丢失，

导致最终的深度图在细节上缺失。另外，卷积算子作为卷积神经网络的关键组件，擅长

建模局部关系，难以有效地建模远程依赖关系。为解决这些问题，本文提出在网络中引

入一种“图谱域”视角下的非局部机制——谱非局部机制，由于它考虑了特征的图特性，

因此除了捕获远程依赖关系，还有利于捕获特征中的结构化信息。另外，通过在网络中

应用自适应的meta-ACON激活，根据输入来确定是否激活神经元，以及给神经元多大

程度的激活，来进一步地提高模型的性能。结果表明了所提方案的先进性，促进了场景

结构和深度细节的精确推断。

（2）基于多尺度特征融合的单目深度估计。为应对深度估计任务中物体尺度变化

以及小目标带来的挑战，本文设计了多尺度特征融合模块，模块中包含两条支路，分别

是全局上下文支路和局部上下文支路，全局上下文支路采用了频率通道注意力，引入了

更丰富的低频信息，在此基础上添加了局部上下文支路，由于它关注特征的每个空间位

置的通道间交互，因此有效避免了小目标的特征被削弱。将两条支路的结果广播相加，

得到的权重具有与输入特征相同的形状，这种元素级的动态选择的方法有效缓解了场景

中物体尺度变化和小目标所带来的影响。在KITTI和Cityscapes数据集上的实验结果证

明了本章方法的先进性和有效性。

哈尔滨工程大学硕士学位论文

关键词：自监督学习；单目深度估计；谱非局部机制；自适应激活；多尺度特征融合

基于深度学习的自监督单目深度估计方法研究

ABSTRACT

3Denvironmentalperceptionplaysanimportantroleinmanyreal-worldapplications,

suchasautonomousdriving,AR/VRandrobotics.Depthinformationisthekeyinformationfor

3Denvironmentalperception,andhowtoefficientlyandaccuratelyobtainithasalwaysbeen

concernedbyresearchers.Althoughdepthsensorssuchaslidarcaneasilyobtaindepth

information,mostdepthsensorsarestillexpensive.However,learning-baseddepthestimation

methodscanobtaindepthinformationatalowcost,sotheyhave