基于PCL人体实时3D重建技术研究与实现.docVIP

基于PCL人体实时3D重建技术研究与实现 　　为了快速实现体感游戏中的人物建模，需进行人体模型的3D重建。本文研究并实现了基于PCL 的实时3D重建技术，并给出了其在人体三维重建中的应用。本文通过Kinect体感控制器作为人体深度图像获取设备，再通过调用PCL 库将深度图像转化成三维点云数据，然后运用基于K邻域密度的离散点云简化算法进行点云简化，再通过delauney三角化算法进行三角网格曲面重构，进而实现人体的实时三维重建。 　　【关键词】PCL 实时3D重建 kinect 点云简化 delauney三角网格曲面重构 　　体感游戏是一种通过肢体动作变化进行交互操作的新型电子游戏，随着计算机图形图像技术的发展，体感游戏中对3D重建、动作识别等技术的需求日益增大，对于一些沉浸式体感游戏，若能将真实世界中物体或者游戏玩家的3D人物模型置身于游戏场景中，玩家会获得更好的沉浸式体验。而对于真实的、复杂的物体，例如人物，再好的模型师也无法将真实的人等比完整复制，所以在对游戏玩家的面部或者身体重建等方面，人体的三维模型重建技术非常重要。 　　近年来国内外大量学者对3D重建做了大量的研究工作。Henry借助 Kinect 相机对室内场景进行三维重建。通过 Kinect 获得室内的三维模型，但得到的模型较为粗糙，模型上有很多的黑色斑点，速度也只有 2fps 左右，需要进一步提高算法的精度与性能。2011 年微软英国剑桥研究院的研究人员发起的KinectFusion 项目。KinectFusion 技术允许用户手持 Kinect 设备在室内场景自由移动，仅利用来自 Kinect 的深度数据实时跟踪传感器的三维姿态和重建，融合不同时序的深度图数据并重建出目标物的几何全局三维模型。尽管这种方法可以达到实时效果，但不适合于动态场景重建。刘鑫等人给出了一种基于 Kinect 传感器的快速物体重建方法，借助图形显卡 GPU 硬件设备，提出了一种简单易用的粗标定方法和全自动的快速物体重建方法。针对 KinectFusion 需要大量 GPU 存储空间的问题，曾鸣提出了一种基于八叉树的数据结构，并在数据节点存储符号距离函数。在八叉树结构的基础上，重新设计了重建更新和表面预测从而高效利用 GPU 的并行计算能力。这种方法能够保持快速的情况下比 KinectFusion 少耗费 10%的存储空间，且能够重建比 KinectFusion 大八倍的场景。Mirosoft Kinect作为一款体感游戏外部设备，它自身的SDK可以实现动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能，也可以实现简单人体的3维重建，但是效率较低，并且要使用Mirosoft Kinect 的SDK，需安装一系列微软的软件包，局限性较大。 　　针对以上3D重建算法存在的各种问题，本文研究了PCL点云库，鉴于PCL跨平台以及开源的特性，本文提出了一种新的实现物体3D重建的技术，并用于体感游戏物体及人物建模。实验结果表明，该技术简单高效，并且能保留重建后的物体及人物模型的大部分细节信息，该3D重建技术在物体和人体模型细节处都有很好的重建效果。 　　1 人体3D重建算法 　　算法思想：首先通过Mirosoft Kinect采集人体深度图像，然后利用PCL点云库将深度数据转化为3D点云数据，再对原始3D点云数据进行简化，再进行三角网格曲面重构，实现人体实时3D重建。 　　1.1 PCL点云库 　　PCL（Point Cloud Library）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。支持多种操作系统平台，可在Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。如果说OpenCV是2D信息获取与处理的结晶，那么PCL就在3D信息获取与处理上具有同等地位，PCL是BSD授权方式，可以免费进行商业和学术应用。 　　如PCL架构图所示，对于3D点云处理来说，PCL完全是一个的模块化的现代C++模板库。其基于以下第三方库：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，实现点云相关的获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。PCL利用OpenMP、GPU、CUDA等先进高性能计算技术，通过并行化提高程序实时性。K近邻搜索操作的构架是基于FLANN （Fast Library for Approximate Nearest Neighbors）所实现的，速度也是目前技术中最快的。PCL中的所有模块和算法都是通过Boost共享指针来传