​采用空间投影的深度图像点云分割.docx

1、引言

目前,以立体成像技术为核心的立体相机获得了多样性发展,例如双目相机、单目结构光相机、TOF(timeofflight)相机等,其获得的深度图像(RGB-D)是在RGB数据基础上融合了深度数据,在参考相机内参下深度图像可转化为点云数据。根据立体相机的三维数据重建感兴趣区域(ROI),目标区域表面信息和背景信息的数据是混合在一起的,这给后续目标的三维测量和分析处理带来了一定难度,因此采用点云分割技术进行目标区域和背景点云分离是必要的途径。

点云分割就是将数据分割成若干个互不相交的子集。点云分割的问题一般分为4类：

1)具有人类视觉意义的形状确定

2)获取点云中与空间方位无关的几何特征

3)点云中各个形状边界的确定

4)具有一致性的分割结果。

目前的点云分割方法分为两类,即主要处理点与点之间拓扑关系的传统方法和基于深度学习的方法。

立体相机与激光雷达的不同之处在于拍摄场景信息所得的RGB-D数据具有物体表面的颜色纹理信息。不同于点云拓扑关系和深度学习的点云分割,本文介绍了一种采用点云空间投影的RGB-D点云分割技术,首先介绍采用图像阈值的点云分割和利用靶标世界坐标系的点云分割两种基础方法,将在世界坐标系中的靶标作为参考旋转点云,并将其投影至坐标系水平面(XOY)上,利用图像的形态学获得目标显著区域,进而获得目标点云数据。

2、图像阈值与点云关系模型

2.1相机数学模型

摄像机数学模型采用小孔成像的原理,在笛卡儿空间中建立景物点与成像点之间的映射关系。令点P=(Xw,Yw,Zw)为像素p(u,v)投射在世界坐标系中的点,(u,v,1)是点p在像素坐标系中的齐次坐标;(Xw,Yw,Zw,1)是点P在世界坐标系中的齐次坐标。那么两个坐标的关系为

2.2图像阈值与点云的关系模型

RGB-D数据来自立体相机中RGB相机和Depth相机,由于相机空间视角不同,两组原始数据中RGB数值与深度数值不匹配。在标定立体相机的外参数后,建立RGB像素值与Depth数值两者之间的一一对应关系。采用图像阈值的点云分割基本思路:根据图像像素和点云的对应关系进行图像分割,获得目标区域点云。

3、采用空间投影的点云分割方法

3.1建立靶标世界坐标系

立体相机中依据RGB相机和Depth相机的外参数,可以把Depth相机生成的点云转换到相机坐标系下。参考棋盘格建立世界坐标系。利用靶标世界坐标系可实现一定程度的点云分割,其基本思路是:由于场景三维点云的空间尺度与世界坐标系的空间尺度具有一致性,通过建立世界坐标系并确定待测物体在世界坐标系中的空间区域,可分割映射到世界坐标系里的点云。

如图1(a)所示,pc(xc,yc,zc)为相机坐标系中的点云,Pw(Xw,Yw,Zw)是世界坐标系中的点云,由(1)式可得

如图1(b)所示,由于靶标板(标定板)所指定的坐标系相对于棋盘格角点所建立的世界坐标系有一定的偏移,这里采用补偿的方式进行坐标系校正。设靶标的厚度为Δz,世界坐标系原点在待测区域的X和Y轴的偏移分别为Δx和Δy,补偿偏移量Δl3×1=[ΔxΔyΔz]T,则(6)式可进一步表示为

3.2采用空间投影的点云分割方法

参考前述的图像阈值、靶标世界坐标系与点云区域的关系,为了突出目标区域以实现点云分割,可将点云的观测视角旋转至俯视角度(鸟瞰视角),如图2所示,这样可减少背景点云信息,使目标点云呈现更多信息,采用相机模型将点云投影至相机的图像像素。在得到旋转投影后场景的二维图像后,采用图像阈值分割的方法可快速地得到目标阈值范围,还原后得到场景分割的目标点云。

参考(6)式得到世界坐标系中的点云Pwl(Xwl,Ywl,Zwl),将其变换到场景点云的俯视角时,有：

根据单目摄像机模型,可以得到点云对应的二值图像坐标为：

4、结果对比

4.1场景点云获取

为了验证算法的可行性,搭建系统硬件,如图3所示,系统包括靶标(尺寸规格:棋盘格角点数为5×7,方格大小为34mm×34mm)、双目摄像机(MER-500-7UM)、8mm定焦镜头、投影仪(BenQ)和上位机[2.53GHzIntel(R)Core(TM)2DuoCPU,2GBRAM]。

待测场景如图4(a)~(c)所示,RGB-D点云采用投影仪投射格雷码编码光栅和摄像机拍摄其光栅解码所得,其中包含1幅明、暗视场图像以及40幅正交格雷码编码光栅图像。建立三个层叠的米袋场景(场景1#、2#、3#),分别获取整个场景并分割其米袋区域点云数据。根据张氏标定方法建立的靶标坐标系,获得外参数矩阵[R3×3t3×1],将三个场景点云映射到世界坐标系中,场景图片在靶标坐标系中的点云如图4(d)~(f)所示。

利用图像阈值与点云关