如何应用阵列型光场相机实现图像遮挡物移除.docxVIP

01

引言

在计算机视觉领域中，目标物前出现遮挡与目标物出现混叠时都会对数据采集造成影响。多数传统相机设备采集数据时仅可以记录场景的二维信息，当目标物前出现遮挡时，单视角成像设备在数据采集时由于遮挡物的影响，会造成信息的大量丢失。多视角的合成孔径技术则可以同时记录空间中光线的四维信息，包括方向信息与角度信息［1］，利用更高维度的信息量减少遮挡物带来的影响。相机阵列法以斯坦福大学提出的128台相机阵列为代表，相机采用不同的排列方式，获得多种不同角度的子图像阵列，同时利用相机阵列的景深特点，通过数字重聚焦技术与合成孔径技术可实现类似“透视”的效果［2］。相机阵列相比于传统相机多记录了两个维度的信息，为后续有效地移除遮挡物、获得高还原度的目标信息提供了理论基础。

近年来，去遮挡物算法被国内外众多学者广泛研究，并提出了具有高参考价值的理论。刘严羊硕等［3］提出一种先利用EPI的边缘特征估计景深范围，再进行光场重建的算法。此方法需要遮挡物与目标物存在明显不同的深度特性，否则影响遮挡物的识别与移除。张世辉等［4］提出一种利用随机森林检测深度图像中遮挡物的方法。其方法是基于机器学习思想，在图像检测时需要选择通用性较好的夹角特性。陈先锋等［5］提出一种基于先验信息的去遮挡物算法。该方法对遮挡区域具有低敏感度，对于非遮挡区域具有高敏感度的特性。刘润兴等［6］提出一种聚焦式光场去混叠的方法移除遮挡。此方法对图像合成有较为良好的改善，但计算量大，实时性还有待提高。Bobick等［7］提出了加入顺序约束条件的动态规划算法。该方法受限于物体的大小，无法有效处理孔状和窄物体区域。Egnal等［8］基于唯一性约束条件提出交叉验证算法，受限于唯一性约束，该方法无法使用在水平倾斜表面。

遮挡物移除算法大多着重于遮挡物移除的完全性和精确性，忽略了重构图像的质量，不利于图像细节部分的还原。本文提出一种应用相机阵列系统，基于光场数据采集与数字重聚焦技术，并通过SEEQ图像质量评价算法评估图像质量从而选择最佳的倾斜因子，并利用最小误差法分割遮挡物，最后通过图像增强与形态学处理还原完整的目标图像的方法。遮挡物移除技术在国防军事、公共安全、航天遥感等领域都有着很好的发展前景。

02

基于相机阵列的遮挡物移除算法

本文首先利用数字重聚焦技术，根据遮挡物与目标物体深度上的不同选择合适的深度重聚焦，突出目标物体细节信息。根据子图像阵列与相机阵列的位置关系，利用几何特征连续迭代选择效果最佳的倾斜因子，得到重构图像。利用最小误差法选择合理的阈值进行遮挡区域的分割。最后移除遮挡区域像素，恢复目标物图像的细节信息，具体流程如图1所示。

?2.1光场成像与数字重聚焦

如图2所示，本文采用双平面参数法来表征光场。该方法依据Levoy等［1］提出的光场渲染理论，分别在主透镜与传感器处建立两个二维平面，设一条同时穿过两个平面的光线，分别交两个平面于（u，v）和（s，t）两点，由（u，v）和（s，t）描述这条光线的二维位置信息与二维方向信息，光线与主透镜平面和传感器平面相交的两坐标点共同构成了光场的四维函数L（u，v，s，t），其中函数值L是光线的辐射通量。?

应用光场数字重聚焦技术可以做到先利用阵列相机采集信息，再根据目标物与遮挡物的深度特性进行数据重聚焦，利用相机的景深特性可以有效突出目标物的细节信息，减小障碍物带来的影响［9］。这里将光场成像系统中的光线用四维光场函数L（u，v，s，t）表征［10］，其中u-v面是光学系统主平面，s-t面是探测器所在平面，L（u，v，s，t）代表给定光线的光辐射量，下标F代表上述两平面间的距离，像面上接受到的辐射量可表示为

?

在此基础上，通过积分求解可以得到一幅数字图像。由于透镜平面和探测器平面定义的光场函数与透镜平面和重聚焦平面定义的光场函数之间的关系可以通过构建相似三角形的几何变换得到，四维光场函数在空间中的传播可以表示为

?

在这里α为两相似三角形的比例系数，调整比例系数的大小控制重聚焦的深度。

2.2倾斜因子的确定

单视角相机仅记录二维信息，在面对感兴趣区域被遮挡时具有较大的局限性［12］，面对动态的目标物时可采用连续多次拍摄的方式来复现目标物，但面对目标物与遮挡物都为静态的情况，应用单视角相机移除遮挡物则十分困难。然而使用多视角合成孔径技术可以利用光场成像获得丰富的四维信息，为遮挡物的移除提供基础。通过相机阵列采集子孔径图像集，选取中心图像并使其他图形根据视差的几何关系进行平移。根据几何关系选择合适的倾斜因子重构图像，当子图像经过联合位移后，选择不同倾斜因子的状态会有所不同，导致重构图像轮廓不清晰。

如图3所示，本文假设同一排阵列相机镜头间距为Δm，其中第i的相机相对坐标原点的位置为mi并建立坐标系表征倾斜因子，根据几何关系有

?

其中：