基于单阶段回归和迁移学习的人体姿态估计算法研究.pdfVIP

摘要

摘要

人体姿态估计是定位图像中人物关键点的关键任务，是许多高级视觉任务

的前提。尽管深度学习推动了该领域的进步，但现有算法仍面临多方面挑战，

包括高计算成本、细粒度点的估计不足以及在非自然场景下的低准确率。为解

决这些问题，本文提出了一种高效而精细的单阶段全身姿态估计算法，能够统

一检测全身133个关键点。同时，研究了将自然图像的姿态估计模型迁移至其

他领域图像的方案，以促进技术更广泛的应用。

具体而言，本文构建了基于单阶段回归的全身姿态估计网络SRWPose，无

需多个子网络或复杂前后处理过程，实现了人体、面部、手部和脚部关键点的

高效、统一检测。在姿态建模中引入了人体局部区域自适应表示，并应用于全

身多人姿态估计任务，更好地编码各部分关键点位置与类别信息。此外，针对

人体不同尺度部位的关键点设计了三跳回归、回归监督拆分和局部中心热图引

入等针对性分层回归方案，并引入了多尺度的双线性插值采样融合模块以充分

融合多尺度特征。

针对现有姿态估计模型在非自然域图片上识别率低，人工标注非自然域图

片存在成本高、数据量缺乏等问题，本文提出了一种基于图像翻译技术的迁移

学习方案。通过合成高质量带标签的非自然域图片，无需人工标注或仅需少量

标注即可完成领域适应的效果。采用CycleGAN作为图像翻译模块的基准网络，

并在损失函数中引入SSIM评分和在生成器网络中添加注意力机制进行改进。

SRWPose

本研究已完成相关理论和算法研究、算法的原理与实验验证、迁

移学习方案及实验证明。实验证实，提出的SRWPose算法在COCO-WholeBody

数据集上的性能优于当前算法；此外，提出的迁移学习方案在各主流人体姿态

估计模型及SRWPose上应用后，识别准确度均有显著提升，这证明了其在领域

适应方面的可行性。最后，本文完成了演示系统，以促进提出算法的推广应用。

关键词:单阶段回归；全身人体姿态估计；迁移学习；图像翻译

-I-

Abstract

Abstract

Humanposeestimation,thetaskoflocatingkeypointsofindividualsinimages,

standsasacrucialtaskformanyadvancedvisualtasks.Despitetheadvancement

drivenbydeeplearninginthisfield,existingalgorithmsstillfacevarious

challenges,includinghighcomputationalcosts,inadequateestimationof

fine-grainedpoints,andlowrecognitionaccuracyinunnaturalsettings.Toaddress

thesechallenges,thisdissertationproposesanefficientandprecisesingle-stage

whole-bodyposeestimationalgorithmcapableofunifieddetectionof133keypoints

acrosstheentirebody.Additionally,itexploresstrategiestotransferposeestimation

modelsfromnaturalimagedomainstootherdomainimagesto