基于改进沙漏网络和分布感知坐标表示法的人体姿态估计.pdfVIP

摘要

基于改进沙漏网络和分布感知坐标表示法的人体姿态估计

人体姿态估计作为行为分析以及动作识别的重要技术，在计算机视觉中具有

非常广阔的应用前景。近年来，虽然深度学习在一定程度上极大地促进了人体姿

态估计相关工作的进步，但如何将人体模型更好的融合到卷积神经网络中，如何

在保证高精度的同时提高网络的处理速度，如何对人体姿态的先验知识实现更充

分的利用仍然具有特别重要的研究意义。因此本文以基于深度学习的姿态估计算

法为主要研究内容，旨在设计出一种更高效，更准确的姿态估计网络模型，用于

进行人体关键点的标定。本文的主要工作以及创新点如下：

1.本文在总结研究了现有技术的基础上，对传统的沙漏网络进行了改进，

提出了RefineHourglass模型。首先本文对沙漏网络中相邻阶段的特征进行了融

合，从而使得当前阶段的网络能够对先验信息实现充分利用，以增强图像特征在

级联网络中的传播能力。另一方面，本文使用多尺度残差块对原网络的特征提取

模块Residualblock进行替换，从而对不同尺度的特征进行融合，增强网络结构

对不同图像特征的适应性。最后，在降采样分辨率下降的同时，我们适当增加通

道数，从而在下采样过程中提取更多具有代表性的特征。

2.有研究表明，将模型预测的heatmap转换为原图中的人体关键点坐标，

这一过程对于关键点检测任务的性能提升有着非常重要的研究意义，而原沙漏网

络的坐标编码和解码过程容易引入量化误差，在设计上具有一定的缺陷。为了进

一步对模型进行优化，本文引入基于分布感知的坐标表示法来对沙漏网络中的坐

标编码和解码过程进行改进，从而使得坐标和热图之间的转换工作能够更加精确

的完成。

3.原沙漏网络只在MPII数据集上进行了单人姿态估计效果的验证，本文采

用自顶向下的检测思路，引入人体检测器PP-YOLO结合我们提出的模型完成在

COCO数据集上的多人人体姿态估计。

4.最后，我们分别在MPII数据集和COCO数据集上对本文所提出的算法

进行定量评估，并与其他经典人体姿态估计算法进行对比。其中，在MPII测试

I

集上，我们的模型总体上对比原网络提高了1.4个百分比，尤其是肘部和手腕两

个点分别提高了1.8%和1.9%。在COCO测试集上，算法准确率达到了76.0AP，

实验充分验证了本文所提出的算法的有效性。

关键词：

深度学习，姿态估计，沙漏网络，分布感知坐标表示，目标检测

II

ABSTRACT

HumanPoseEstimationBasedonImprovedHourglass

NetworksandDistribution-AwareCoordinateRepresentation

Asanimportanttechnologyforbehavioranalysisandactionrecognition,human

poseestimationhasverybroadapplicationprospectsincomputervision.Inrecent

years,deeplearninghasgreatlypromotedtheprogressofhumanposeestimation,but

itisstillsignificanttobetterintegratethehumanbodymodelintotheconvolutional

neuralnetwork,improvetheprocessingspeedofthenetworkwhileensuringhigh

precisionandmakefulluseofthepriorknowledgeofhumanposture.Theref