基于多目视频的三维人体运动跟踪系统关键技术分析-key technology analysis of 3d human motion tracking system based on multi-view video.docx

摘 要 哈尔滨工业大学工学博士学位论文 - I - -  PAGE 2 - 摘 要 运动捕捉技术可广泛应用于三维影视制作、互动游戏、医学康复、体育训 练、智能人机交互和远程控制等多个领域，具有极高的商业价值。传统的机械 式、声学式、电磁式及惯性式等非光学式运动捕捉系统和有标记点的光学式运 动捕捉系统已在上述领域获得了成功应用。相比之下，基于视频（无标记点） 的运动捕捉系统是一种更加灵活的解决方案：从实际应用的角度而言，被跟踪 的人物身体上不需要预先穿戴传感器或粘贴各类标记点；另外从学术的角度而 言，这种技术不再仅仅局限于标记点的运动信息，使得近年来对三维人体外形 和运动同时进行跟踪与测量成为可能。因而研究更加灵活的基于视频的人体运 动捕捉系统同时具有重要的学术价值和实际应用价值。 本文以基于先验蒙皮模型的三维人体运动跟踪系统为研究对象，研究工作 主要围绕着该系统各个关键技术展开： 对于特定对象的三维人体运动捕捉及跟踪，首先建立了一个该人体的先验 蒙皮模型。其中，基于刚体运动的 twist 指数描述形式，并结合待拼接点云数据 的重叠率信息，本文提出了 HT-ICP 部分重叠点云自动拼接算法，并推导出其等 价的线性矩阵方程解。通过与传统的基于奇异值分解（SVD）的 ICP（Iterative closest point）算法和基于四元数的 ICP 算法进行对比实验，结果表明 HT-ICP 算法有效地提高了点云自动拼接的速度和精度。针对存在高噪声的点云数据， 本文给出了“4PCS（4-Points Congruent Sets）”+“HT-ICP”组合拼接方法，获 得令人满意的拼接结果。进一步，使用 HT-ICP 部分重叠点云拼接算法来对 VIVID 910 扫描获取的对象点云数据进行拼接，得到一个单一连通的，且封闭 的对象专门模型，以作为对象先验蒙皮模型的外部皮肤网格模型。最后通过定 义运动对象内部骨骼模型，并将内部骨骼模型和外部皮肤网格模型绑定起来， 建立了一个完整的特定跟踪对象的先验蒙皮模型。 提出一种基于蒙皮模型和分层加权迭代最近点（HWICP）算法的三维人体 运动跟踪方法。首先使用 Shape-From-Silhouettes 方法从当前帧多目视频图像中 提取的人物轮廓并计算出被跟踪???物的可视外壳，然后建立人物先验蒙皮模型 并与之匹配，其中蒙皮模型的引入使得多关节人体三维外形和运动跟踪问题被 转化为一个分层最小二乘三维表面匹配问题。接着，使用 HWICP 算法来对其 进行求解。其中在对蒙皮模型肢体与可视外壳的匹配中，针对先验模型获取中 肢体间连接部位的网格顶点粘连问题，本文 采用加权扩展正交普鲁克分 析 （WEOPA），通过引入 4 种不同的权值分配策略，有效克服了顶点粘连对匹配 的影响，并充分利用了顶点对的几何信息。 提出一种联合 LBS（Linear Blend Skinning）和 Snake 变形模型的三维人体 外形和运动跟踪方法，能同时捕捉人物的三维外形和运动信息。首先建立人物 对象的蒙皮模型，然后以每一帧多目同步视频中的人物轮廓作为输入，基于 HWICP 算法捕捉出每一帧 LBS 骨架子空间下的人物三维外形及运动，然后再 一次使用系统多目同步视频的人物轮廓信息，让 Snake 内外力共同作用于皮肤 网格模型上的顶点，使之自由地趋近于目标对象，提高了系统对每一帧人物三 维外形信息的捕获精度。 提出一种多目视频三维人体运动跟踪系统的蒙皮模型自动初始化方法。首 先将 8 个相机标定到同一个世界坐标系下，计算其各自的投影矩阵。由 8 个同 步相机第一帧的人物轮廓及投影矩阵，重建出目标人物的可视外壳，接着提取 其顶点坐标及法线构成三维有向点云，并使用泊松表面重建算法将其转化成一 个封闭、光滑、且单一联通的三角网格模型，以便于对其进行自动分割及肢体 标注。然后，采用 4PCS 算法先对模型躯干进行匹配，进而运用得到的刚体变 换矩阵将先验蒙皮模型躯干调整到多目同步视频第一帧中人物的正确位姿，接 着采用带肢体标注信息的关节型 ICP 算法对剩余肢体进行匹配，由于先验模型 和可视外壳模型的各个肢体具有标注信息，这样就克服了关节型 ICP 算法因各 个肢体相互干扰而匹配失败的问题。最后先验蒙皮模型被成功初始化到多目同 步视频中被跟踪人物的起始姿态。 关键词：人体运动捕捉；三维人体运动跟踪；加权扩展正交普鲁克分析；蒙皮 模型；迭代最近点算法 Abstract 哈尔滨工业大学工学博士学位论文 - III - -  PAGE 4 - Abstract Motion capture technology has high commercial value and can be widely used in 3D (t