单目图像的上半身人体三维姿态重构研究-控制科学与工程专业论文.docx

万方数据 万方数据 A DISSERTATION PRESENTED TO SHANGHAI JIAO TONG UNIVERSITY IN PARTIAL FULFILLMENT OF THE REQUIREMENTS FOR THE MASTER DEGREE THREE DIMENTIONAL POSE RECONSTRUCTION OF HUMAN UPPER BODY FROM MONO-CAMERA IMAGES Author: Xinzhuo Shi Specialty: Control Theory and Control Engineering Advisor: Min Sun School of Electronic Information and Electrical Engineering Shanghai Jiao Tong University Shanghai, P.R. China January, 2015 上海交通大学硕士学位论文 上海交通大学硕士学位论文 单目图像的上半身人体三维姿态重构研究 摘 要 人体三维姿态重构是指通过从单视角、多视角拍摄的数字图像或 视频序列中恢复出目标人体的三维空间信息的过程。基于单目图像的 人体三维重构主要是根据给定的单目图像，通过提取目标人体的轮廓、 颜色、形状等图像特征，并且采用相关的算法对这些特征进行深入的 分析应用，从而计算得出相应的人体姿态三维信息。由于无法获得目 标的深度信息，仅仅根据单目图像或是拍摄于单视角的图像序列进行 人体三维姿态的重构是非常具有挑战性的。 本论文针对单摄像机拍摄的图像或视频中的人体姿态估计问题， 回顾并且总结了目前较为常用的人体二维姿态估计及三维重建的相关 算法，利用人体树状模型，实现了人体上半身的二维肢体检测，同时 根据二维检测结果进行三维姿态动态跟踪，基于三维姿态跟踪数据， 恢复和估计以参数表示的人体姿态，生成人体三维运动模型，求解真 实人体在三维世界坐标系中的位置和姿态参数。本论文的主要研究内 容和成果如下： 1）提出了人体上半身的二维姿态估计算法。 针对人体上半身的各个肢体部分，用改进的形状上下文进行特征提 取，并且分别进行离线学习，训练相应的分类器，对目标人体进行 检测，得到具体部位的检测概率，并采用相关算法对检测结果进行 优化，最终估计出人体上半身各肢体部位的位置。 第 I 页 第 II 第 II 页 万方数据 2）实现了弱透视投影模型下的人体模型映射。 在弱透视投影模型下，对摄像机参数求解过程进行简化，将 7 个 待估计的摄像机参数简化为 1 个，大大地降低了算法的计算复杂 度，提升了算法的效率。 3）提出了一种基于关节点图像坐标的三维姿态重构算法，并构建了 二维-三维姿态转换系统。 将人体图像的二维关节点特征，与人体上半身三维姿态结合起来， 并且采用基于关节点反投影误差的退火粒子滤波算法进行姿态跟 踪，实现了人体上半身三维姿态重构。与此同时，建立了人体上半 身二维-三维姿态转换系统，整合了单目图像三维姿态重构功能以 及图像序列的三维姿态重构功能。 4）本文针对提出的算法，在多个数据库上进行了大量实验，实验结 果显示，本文的算法能有效地估计人体上半身二维姿态，并在此基础 上快速地重构出人体三维姿态。 关键词：人体姿态估计，二维姿态估计，人体三维重建，退火粒子滤 波 第 PAGE 第 PAGE IV 页 万方数据 THREE DIMENTIONAL POSE RECONSTRUCTION OF HUMAN UPPER BODY FROM MONO-CAMERA IMAGES ABSTRACT Vision based 3D human pose reconstruction is the process of reconstructing 3D information with images taken from single view or multi view. Reconstruction from monocular image firstly extracts the target’s color, shape, contour and some other clues extracted from the given monocular image, and then obtains the target person’s 3D spatial information with a few known conditions. For the lack of depth information, reconstruction from monocular image is quite c