2026《基于动态特征融合网络的光场深度估计分析》8300字.docVIP

PAGE

PAGE5

基于动态特征融合网络的光场深度估计分析

目录

TOC\o1-3\h\u12095基于动态特征融合网络的光场深度估计分析 1

182371.1研究动机 2

81301.2基于动态特征融合的光场深度估计网络模型 3

187931.2.1RGB流 4

135011.2.2焦点堆栈流 4

297191.2.3多模态动态融合模块 6

172711.2.4动态特征融合网络的损失函数 8

145221.3实验设置 9

193881.1.1数据集 9

91001.1.2实验细节 9

281691.4实验结果及分析 10

193221.4.1消融实验 10

93071.4.2本章方法与其他先进方法比较 13

光场相机通过在图像传感器和相机的主镜头之间插入微透镜阵列来记录光线的4维时空信息，利用光场的四维信息可以很容易地得到相关的深度线索，进行场景深度提取。光场可以表现为多视角图像、极平面图像和焦点堆栈三种可视化的表达形式，不同的光场表达方式代表不同属性的深度线索。焦点堆栈中包含丰富的焦点线索，不同焦点切片记录了场景在不同焦距下的模糊度，代表了其聚焦在不同深度平面上，能够很好地揭示场景中的立体结构。此外，聚焦信息符合人眼的视觉注意力系统，可以最大化聚焦于场景中物体。基于多聚焦特征的深度估计方法在光场深度估计任务中扮演着重要的角色。大多数现有方法无法充分利用焦点堆栈学习焦点切片之间的关系，当面对复杂场景时，容易造成细节信息丢失问题。本章从光场图像出发，首先分别提取焦点堆栈中的多聚焦特征和RGB图像（中心视角图）中的结构信息，然后动态融合多线索特征，预测准确的深度图。

图1.1从左到右：焦点堆栈、RGB图、深度图、DDFFNet方法预测结果、本文方法预测结果

Fig.1.1Fromlefttoright:Focalstack,RGBimage,depthmap,theresultsofDDFFNetandtheproposedmethod

1.1研究动机

光场相机的一个重要特点是先拍照后聚焦。焦点堆栈充分利用了光场数字重聚焦的优势，隐含的焦点线索可以有效应用于光场深度估计任务中。早期基于多聚焦特征的光场深度估计方法通常旨在通过测量像素的清晰度确定像素的深度，然而这些方法通过手工选取相关特征，严重依赖特定的先验知识，因此在不同场景下的泛

化能力受到了限制，无法获得令人满意的深度图。随着深度学习的发展，基于卷积神经网络的光场深度估计缓解了这一问题。研究者发现使用卷积神经网络提取多聚焦特征进行深度估计可以有效提高光场深度估计的精度。

现有基于卷积神经网络和多聚焦特征的光场深度估计方法可以预测出场景的深度图，然而在提高焦点堆栈利用率方面依然存在以下几点挑战：（1）现有方法通过堆叠大量标准卷积核学习扩展到整个焦点堆栈的滤波器，忽略了焦点切片之间的空间相关性，随着网络的层数的加深，造成部分多聚焦信息的丢失。如图1.1所示，单纯使用焦点切片的DDFFNet方法，其预测的结果损失了部分细节信息，从而无法很好地捕获多聚焦特征，预测的深度图中包含大量噪声。因此，如何使网络在深度估计中不仅可以保留处理二维图像特征的能力，还可以捕获长范围上下文依赖性信息是本章考虑的关键问题。（2）焦点堆栈中隐含了与深度密切相关的多聚焦特征，RGB图像中包含了高质量的图像结构信息，考虑融合焦点堆栈和RGB图像（中心视角图）将会极大地降低噪声，获得更加准确的预测结果。研究者REF_Re\r\h[48]尝试引入了RGB图像作为指导信息进行多模态信息融合。然而，他们通过简单的乘法操作实现两路特征的静态融合，无法充分利用RGB图像和焦点切片之间的互补信息。因此，有效融合多模态线索对深度估计任务至关重要。基于此，本章提出了一种基于动态特征融合网络的光场深度估计方法，充分探索焦点切片之间的空间相关性，自适应融合多模态线索获取准确深度信息。

图1.2基于动态特征融合网络的光场深度估计

Fig.1.2Dynamicfusionnetworkforlightfielddepthestimation

1.2基于动态特征融合的光场深度估计网络模型

本章的目标是挖掘焦点切片之间的空间相关性，并动态融合RGB图像的全局结构信息和多聚焦特征以实现基于多聚焦特征的光场深度估计任务。图1.2给出了本章提出的动态特征融合网络模型。该模型主要由双流网络和一个融合模块构成。1.2.1节介绍了RGB流的基本结构。通过将RGB图像（中心视角图）输入到RG