2026《基于RGB图像的手部重建技术研究的国内外文献综述》6000字.docxVIP

-

基于RGB图像的手部重建技术研究的国内外文献综述

基于视觉的手部的三维重建包括姿态估计以及形状重建两个任务。其中，手部姿态估计任务指由输入的图像推断出三维空间中手部关节点位置信息；手部形状重建则需要得到三维空间中手部的整体形状。本节将主要介绍基于RGB图像的手部重建技术研究情况和现状。

1.1手部姿态估计的研究现状

RGB图像可由最常见的彩色相机采集，数据获取十分便捷，不受环境的约束，是视觉图像中使用最广泛的数据源。但复杂的背景、多变的光照以及频发的遮挡问题让基于RGB图像的3D姿态估计任务十分艰巨。现阶段的方法采取了多种手段解决这些问题，例如，利用其他模态的数据集补充RGB图像缺乏的深度信息；对姿态估计任务进行分解，引入手部模型先验信息；设计精巧的网络框架；挖掘手部结构特征等。

一些工作尝试使用RGB-D数据[2-3]、双目数据[4-6]或多视角图像[7-8]来减轻遮挡、缓解深度信息的缺失。Mueller等人[2]提出一种基于RGB-D图像的手部姿态估计方法，将数据中的彩色图像逐像素映射到深度图平面上，利用合并后的四通道图像作为网络的输入。通过推断图像中手的中心位置来完成手部的定位，接着检测关节点的2D热图并回归手部的3D姿态，最后使用手部跟踪的方法确保3D姿态在时间维度上的平滑性。该方法可在背景环境杂乱、存在物体遮挡的真实环境下实现实时鲁棒的推断。Panteleri