稀疏光场编码与深度估计.pdfVIP

稀疏光场编码揭示的场景结构

OleJohannsen，AntoninSulc和Bastian

Goldluecke大学

在本文中，我们提出了一种新的光场深度估计方

法，该方法采用专门设计的稀疏分解来利用其视差平面

图像上的深度‑方向关系。所方法学习视图

的结构，并使用这些信息构建一个光场字典，其中原子

组对应于唯一的视差。然后，使用此字典对光场进行稀

疏表示编码。分析该表示的系数与其相应原子的视差之

间的关系，可以得到准确且鲁棒的深度估计。此外，如

果光场具有多个深度层，例如反射或透明表面，则可以

通过对系数进行统计分析来推断叠加层各自的深度。

图1。视差平面图像（EPIs）。该显示了由图像坐标参数

化的光场的视图x和y。在底部和右侧，显示了视图

中白色线的视差平面图像，其中s和t描述了变化的视点坐

标。随着相机的移动，3D场景点在EPIs上出直线，其斜

1.引言率与点的距离成反比。因此，EPI上的方向与局部深度有

关。

在本工作的范围内，光场是场景的密集视图集合，

视点沿图像平面平行移动。图像平面坐标是成对的(x,y)，如果知道任何2D视图中所有点的深度（因此是视差），

视点坐标也是成对的(s,t)，因此光场是的。让我则可以完美地重建光场，除非存在遮挡。后者的工作

们看看这种光场及其极线平面图像（EPI）的结构，这还使用补丁字典来学习4D结构并改进重建。

些图像是在(x,s)和(y,t)平面上的切片，见图。可以

立即观察到数据存在大量冗余，因为任何视图中的补就像传统的2D图像补丁字典一样，4D光场字

丁在多个相邻视图中都会略微偏移地重新出现。对于典也可以用于正则化逆问题。特别是，这些字典已被

Lambertian场景的光场，从一个视图到下一个视图的用于光场去噪、去卷积、修复和超分辨率。在

偏移量与补丁的视差呈线，这导致了极线平面中，他们通过将光场补丁建模为条件于视差的高

图像上众所周知的方向‑深度关系。斯随量来构建GMM先验，以解决类似的问题。与

我们的工作类似，他们根据视差合成生成补丁，但不

这种固有的稀疏结构在几条研究线中得到了利用。是为了创建字典。相比之下，同样明确使用光场字典

一个自然的应用是光场压缩和压缩感知，的直接在4D光场补丁上学习结构。虽然这

其中冗余被用来生成高效的光场编码方案或减少捕获所允许稀疏编码和先验的构建，但不能期望EPIs上的方

需记录的数据量。确实，关键思想是向‑深度关系在原子中得以保留。

这项工作得到了ERC启动资助“光场成像和分析”（LIA然而，深度和方向之间的对应关系正是许多基于光场的深

336978,FP7‑2014）的支持。度估计工作中所利用的关键点，例如。我们

WhatSparseLightFieldCodingRevealsaboutSceneStructure

Inthispaper,weproposeanovelmethodfordepthes