用于增强现实地实时深度图像三维人体识别及遮挡处理.pdfVIP

中文摘要 本文实现了用于增强现实的实时深度图像三维人体识别与遮挡处理算法，使 用单帧深度信息图像与深度信息视频流，专门针对增强现实领域的突出问题，提 出了创新性的深度图像人体识别方法，如深度向量拟合、动静态标记进行辅助识 别等；以及在遮挡处理部分使用带权值的人体部位关系无向图，最终达到无标记、 实时处理、排除遮挡干扰的目的，从整体上提高了增强现实交互的准确性，与现 有的识别方式相比有效改善了增强现实应用中人体识别的效率与准确度。 同时，本文创新性地改进了基于深度图像的人体识别算法，在仅基于原始深 度图像的情况下，通过综合使用深度信息修复、深度信息向量拟合、动静态标记、 深度语义平面识别、人体部位分类等技术，实现从原始深度图像到最终人体轮廓 识别及骨骼节点构建的过程。算法最终可以实现输入深度信息视频流后，在满足 实时的前提下完成无标记的人体轮廓识别及人体骨骼节点构建，同时还可以输出 完整、精确的背景深度信息，为进一步的遮挡处理和人体追踪提供完备的数据和 算法支持。 此外，本文着重研究了人体识别中的遮挡处理部分，增强现实的场景不确定 性及场景复杂度较高，经常发生人体的自遮挡以及人体和场景元素之间的交互遮 挡，通过对这些增强现实应用中常见遮挡情况的研究，本文提出了一种具有针对 性的高效的识别算法，基于反向运动学和Hough 变换，可以有效地在无标记、 单目深度传感器的情况下实时处理增强现实系统中人体产生的自遮挡；并结合 TSDF、Hough 变换与分类回归树创建可信的遮挡序列集合，再由最终的遮挡判 定器确定遮挡处理的结果来处理交互遮挡。 经过完善的实验平台搭建，并针对时间开销和识别准确度等方面实验结果的 横向、纵向比较，可以证明本算法应用于增强现实应用的时候可以满足无标记、 实时处理，同时在人体识别效率和遮挡处理方面有良好的表现，与现有算法相比 具有很多的优势，在其它涉及基于深度图像人体识别的领域也有一定的应用潜 力。 关键词：增强现实 深度图像 人体识别 遮挡处理 ABSTRACT This thesis proposes a novel algorithm used in depth image based augmented reality which dealing with human recognition and occlusion. This paper provide a new method to solve recognition problem in augmented reality only based on depth sensor for input data. We develop a series of algorithm such as DVF (Depth Vector Fitting), SDL (Static and Dynamic Label) for recognition assistant and MBP (Mapping of Body Parts with Weight) for dealing occlusion. These methods can obviously improve the accuracy and satisfy requirement of real-time comparing to existed human recognition algorithm in depth based augmented reality solutions. Besides that, our paper also improves existed human recognition algorithm based on depth image. For the situation with only depth data available, our system is able to implement the process of rebuilding from raw depth image to final human body contour even the list of skeleton nodes. We can obtain the whole accurate background depth information which supports occlusion dealing and b