结合Transformer扩散模型的三维人体姿态估计.pdfVIP

结合Transformer和扩散模型的三维人体姿态估计

摘要

三维人体姿态估计旨在三维空间中确定人体各关节的准确位置。作为计算机视觉的

基础任务之一，三维人体姿态估计广泛应用于许多应用领域，如动作/活动识别、动作检

测、人体跟踪等。然而，从单目视频以及图像中估计三维人体姿态是一项重大挑战。单

目图像在采集时缺失了深度信息，导致从单目图像中输出三维人体坐标是一个高度非线

性问题。同一个二维的图像通常对应着多组三维人体坐标，导致从二维图像进行三维人

体姿态估计具有很大的挑战性。本文针对三维人体姿态估计任务中存在的深度模糊问题、

自遮挡问题提出了一种基于Transformer的双分支多假设算法，基于不确定性问题进一

步提出一种基于扩散模型的扩散估计算法。具体来说，本文的研究内容和贡献如下：

（1）针对深度模糊问题以及自遮挡问题，本文引入了双分支结构和多假设的概念，

提出了基于Transformer的双分支多假设三维人体姿态估计方法(DBMHT:ADouble-

BranchMulti-HypothesisTransformerfor3DHumanPoseEstimation)。具体来说方法使用

并行的时空Transformer分支和空时Transformer分钟分别针对时间和空间上提取二维图

像中的信息，然后通过一个时空混合模块进行时空信息的融合，提取时间信息的同时也

重视空间信息，将每一个时空混合模块的输出作为一种假设，这种假设融合了大量的时

空信息，鲁棒性更强。紧接着通过自适应多假设融合模块完成假设间信息交互和融合，

自适应调整通道权重导出最终的三维人体姿态。当输入序列为243帧CPN预测序列时，

本方法的平均关节点偏差(MeanPerJointPositionError，MPJPE)达到了41.4mm，在使用

Transformer架构的方法中位居第二。

（2）针对二维关节点序列的不确定性问题，本文引入了扩散模型来降低不确定性

的干扰，提出了基于扩散模型的三维人体姿态估计方法(DDBMHT:ADiffusion-based

Double-BranchMulti-HypothesisTransformerfor3DHumanPoseEstimation)。具体来说方

法使用扩散模型对真实的三维人体姿态数据逐步添加噪声，然后利用DBMHT，使用二

维人体姿态序列作为参考数据，逐步反转得到纯净的图片。在推断过程中使用训练好的

模型从高斯噪声中采样得到多个假设，这样的假设确定性更强，最后利用基于联合投影

的多假设聚合模块进行关节点组合得到最终的三维人体姿态。当输入序列为243帧CPN

预测序列时，本方法的MPJPE达到了35.4mm，在所有方法位中位居第一。

关键词：三维人体姿态估计；Transformer；扩散模型；多假设；多假设聚合

结合Transformer和扩散模型的三维人体姿态估计

ABSTRACT

Thegoalof3Dhumanposeestimationistoestimatethepositionofkeypointsofthe

humanbodyin3Dspace.Withwideapplications,asoneofthefoundationaltasksincomputer

vision,3Dhumanposeestimationisacrucialresearcharea.Itcanbeappliedinnumerousfields

suchasaction/activityrecognition,motiondetection,humantracking,moviesandanimation,

virtualreality,human-computerinteraction,videosurveillance,medicalassistance,

autonomousdriving,sportsanalysis,andmore.The