一种基于片匹配的光场编辑方法.docxVIP

一种基于片匹配的光场编辑方法 第 PAGE \* Arabic \* MERGEFORMAT 1 页第 PAGE \* Arabic \* MERGEFORMAT 1 页第 PAGE \* Arabic \* MERGEFORMAT 1 页第 PAGE \* Arabic \* MERGEFORMAT 1 页第 PAGE \* Arabic \* MERGEFORMAT 1 页 基于片匹配的光场编辑方法 技术领域 本发明涉及一种基于片匹配的光场编辑方法。 背景技术 光场相机（又称全光相机）近年来得到了快速的发展与普及，显示出了推进整个摄影领域技术革新的强大潜力。这种相机一般采用微型镜片阵列来捕捉场景的四维光场信息，重构出了包含有不同角度拍摄的同一场景表观特征的全光图像（Plenoptic Image）。由于它包含有内在的三维结构关联性信息，光场数据提供了传统二维图像所不能完成的后期处理效果，如视点的变换和重对焦等。最近新推出的Lytro、PiCam和Raytrix几种消费级的光场相机产品都开始渐渐流行，于是催生出了对光场数据智能编辑工具的需求。 尽管光场相机的硬件发展非常迅速，但光场编辑方法的研究仍然处于并不成熟的阶段。之前的研究者提出了一些在有限范围内进行光场编辑的方法，如光场超分辨、光场变形、视角合成和内容缩放等。相比之下，二维图像的编辑方法的研究则比较完善，尤其是近年来弗吉尼亚大学的Barnes教授等人提出的基于片的片匹配（PatchMatch）方法成功地应用到图像补全、内容重排等方面，大大提高了图像编辑工具的能力和编辑效果。如果能把基于片的方法推广到光场数据编辑中来，将有效地推进光场交互式编辑方法的研究。光场数据可以看作是同一场景在不同角度拍摄的图像集合，其不同视角间的数据存在着高度的内部结构关联性，现存的二维图像上的编辑方法无法直接应用在光场数据中，因此需要研究如何进行结构保持的光场编辑。 发明内容 本方法关注于在消费级光场设备采集的数据中如何进行光场编辑的问题。相比于大型光场采集设备，消费级光场相机中的微镜头阵列具有很小的角度变化范围，使得同一个场景点在不同视角下呈现出基本一致的表观特征。这个特性使得朗伯曲面假设（Lambertian assumption）成立，并在一些基于焦堆栈（focal stack）进行光场恢复的工作中得到了成功应用；其次，在消费级光场相机（如Lytro）提供的数据后期处理方法中，其数据的表达形式也是基于不同深度层次的成片区域的，因此，其捕获的数据可以近似认为是由不同深度层次的内容构成的。本方法采用了基于层结构的解决方案来进行结构保持的基于片的光场编辑。所示，本方法将光场表示为一组二维图像，用户的编辑用中心视角进行交互。对于中心视角的图像先进行深度层次结构的分解，然后用基于片的方法进行中心视角下所有相关层的层结构蒙版及其表观特征的生成，再通过不同视角下内容的对应关系，将编辑传播到光场的所有其他视角图像。该框架能够实现光场内容补全、内容重排与复制、深度变换等编辑应用。通过这种逐层计算并融合的的处理框架，也可以进行结构保持的光场数据增强，如光场超分辨和视差增强等。 附图说明 下面结合附图和具体实施方式对本发明作进一步详细的说明: 图1为方法流程图。 图2为方法结果图。 具体实施方式 本章中，一个四维的光场L(x,y,u,v)用一个二维的图像阵列I(u,v)来表示，每个图像都假设是由单个相机从视角(u,v)拍摄得到，而图像I(u,v)的像素(x,y)的值等于L(x,y,u,v)。 层结构表示与提取 首先，本章对于输入的光场数据采用了根据深度进行的层次结构表示方法。这种表示方法把光场所包含的场景看作由一系列定义在中心视角I(0,0)的内容层M叠加而成的，该内容层具有带有透明度的软性边界。每一层都与一个视差值d相关，通过以不同的视差来偏移这些层上的图像内容，形成了光场的其他视角。 本小节首先用代价体滤波方法计算中心视角I(0,0)各点的深度值。假设在场景中有 L个深度层（默认32），每个层都有一个唯一对应的视差值dl，对于中心视角图像的每个像素p，其被分配到某一层l的代价定义如下，下标p表示该视角图像下的像素二维点坐标： 通过这种方法，作者在(x,y,l)三维空间构建出了一个代价体。这样构建的代价体可能会有很多噪音，因为每个像素的代价都是分别计算得到的。所以在此基础上又进行了边界敏感的图像指导滤波(guided image filtering，半径为9)，以平滑整个代价体。最后每个像素属于哪个深度层由下式得到： 这样产生的分层结果会产生硬性边界（即不带有透明度信息）。为了得到不同层之间无缝的融合效果，本方法采用了进一步的软性边界生成方法：在每个深度层上再次应用图