基于深度图的光场合成研究.pdfVIP

摘要

光场图像同时记录着自然场景的二维空间信息和二维角度信息，可以高精度

的重建场景的立体结构，具有很好的研究价值和应用前景。但目前获取真实场景

的光场图像时仍然存在很多问题，例如利用光场相机获取的光场图像普遍存在分

辨率低、成像质量差等问题，除此之外，由于光场图像存在大量的冗余信息，导

致光场图像在存储和传输的时候都要耗费巨大的存储资源和网络资源。为了解决

这些问题，本文对光场合成进行深入研究，旨在利用单目图像或稀疏多视角的图

像合成致密且高质量的光场图像，基于深度图进行光场合成的方法具有运算快速、

合成质量高等特点，但是这种方法需要的深度图在实际中很难获，并且由于图像

中存在遮挡导致深度估计错误而影响最终的合成结果。因此如何准确的估计高精

度的深度图以及如何对合成图像中由于遮挡而导致错误的区域进行修复是基于

深度图的光场合成研究的重点。本文的主要研究内容有以下三点：

1.针对基于深度图的光场合成过程中真实的深度图难以获取的问题，本文

提出一种端到端的用于无监督深度估计的卷积神经网络，根据单目图像或多目稀

疏视角的图像即可无监督的估计光场中所有视图（7×7）的深度图，然后根据基

于深度图的光场合成的方法合成致密光场图像。

2.针对基于深度图的光场合成结果成像优化的问题，本文根据光场图像的

特性定义了多损失函数以优化合成结果。首先根据光场图像多个子光圈视图之间

相互对称且互补的性质优化深度图，再利用光场图像数字重聚焦技术对各个视图

之间的结构关系进行约束，从整体上优化合成视图的质量。

3.针对基于深度图的光场合成过程中由于遮挡导致的错误问题，本文以视

差图为指导，将错误的合成区域视为“图像噪声”，构建残差全卷积神经网络，

利用学习的方式学习合成图像中的噪声特征，基于这种网络学习的方式可以在很

大的程度上对这些噪声特征进行学习并修正。

通过以上的三点创新改进，与当前一些的研究结果相比，在两个公开数据集

“flowers”和“30scenes”上，无论是在基于单目光场合成，还是在基于多目光场合

成，峰值信噪比（PSNR）和结构相似性（SSIM）都有明显的提高。

关键词：光场图像，深度估计，视点合成，图像修复，卷积神经网络

ABSTRACT

Lightfieldimagescanrecordthetwo-dimensionalspatialandangleinformation

ofnaturalscenesatthesametime,reconstructingthethree-dimensionalstructureof

realsceneswithhighaccuracy,whichhasgreatresearchvalueandapplicationprospect.

However,therearestillmanyproblemswhenobtaininglightfieldimagesofrealscenes.

Forexample,lightfieldimagesobtainedwithlightfieldcamerasgenerallyhavelow

resolutionandpoorimagequality.Besides,duetothelargeamountofredundant

informationoflightfieldimages,hugestorageresourcesandnetworkresourcesare

consumedduringstorageandtransmissionoflightfieldimages.Inordertosolvethese

problems,thisdissertationconductsin-depthresearchonlightfieldsynthesis,which

aimstosynthesizedenseandhigh-qualitylightfieldimagesusingmonocularimages

orsparsemulti-viewimages.Themethod