基于Transformer的人体姿态估计算法研究.pdfVIP

摘要

近年来，基于深度学习的方法在解决2D人体姿态估计任务方面取得了卓越的

进步。然而，目前的主流方法仍存在以下问题：（1）基于静态卷积神经网络的模型

对于所有的输入图像均使用一组固定的参数滤波器，难以捕获输入数据中不同尺寸

和动态变化的肢体特征。（2）基于Transformer的姿态估计方法均是将统一采样的

Token序列作为输入。这样固定的特征采样方式难以表示非刚性的人体且存在着一

定的特征冗余，这很大程度上限制了处理如肢体变形和外观模糊等问题。（3）基于

Transformer的姿态估计方法具有巨大的参数量和计算复杂度，对于其在移动设备上

的部署有很大的挑战性。

为了解决上述问题，本文主要研究基于Transformer的2D人体姿态估计算法，

其目标主要是从RGB（Red，Green，Blue）图片中分类和定位出人体关键点的空间

位置。本文结合卷积神经网络（ConvolutionalNeuralNetworks，CNN）与Transformer

的优势，充分利用卷积在局部特征提取方面的卓越性能，同时发挥Transformer在全

局特征建模上的强大能力，以实现更为全面和精准的特征学习。本文的主要研究内

容如下：

（1）为了捕获输入数据中不同尺寸和动态变化的肢体特征，本文提出基于动态

卷积的人体姿态关键点定位网络。将动态卷积结合到本文提出的动态关键点定位模

块中，通过注意力机制不断调整卷积核的参数，以获取输入图像中特定关键点的局

部上下文，有效地增强了关键点定位的准确性和鲁棒性。此外，本文引入人体骨架

特征来编码人体重要的先验知识。这种向量化表示的骨架特征，不仅包含了肢体关

节间的级联关系，还融入了方向信息，从而丰富了获取到的特定关键点的语义特征。

（2）为了解决基于Transformer方法中固定的特征采样方式导致的特征冗余问

题，本文进一步设计了基于稀疏Token化Transformer的姿态估计网络：

KeypointFormer。通过采样基于关键点的特征块提取与关键点相关的Token序列作

为Transformer的输入，在减少Token数量的同时捕获关键点之间的远距离依赖关

系。在基于关键点的特征嵌入中，每个关键点都显式地嵌入为一个Token，以便在

Transformer编码器中学习关键点之间的依赖关系。

（3）为了解决基于Transformer方法在移动设备上的部署问题，本文还设计了

更加轻量化的版本：KeypointFormer-S。具体来说，在MSCOCO验证集上达到了

72.9AP，参数为5.82M，计算量为5.88G，相比于KeypointFormer减少了370%的参

数和44%的计算成本，具有一定的落地应用可能性。

关键字：人体姿态估计；Transformer；动态卷积；骨架特征；

Abstract

Inrecentyears,significantprogresshasbeenmadein2Dhumanposeestimationtasks

usingdeeplearningmethods.However,mainstreamapproachesstillfaceseveralchallenges:

(1)Modelsbasedonstaticconvolutionalneuralnetworksemployafixedsetofparameter

filtersforallinputimages,makingitdifficulttocapturelimbfeaturesofdifferentsizesand

dynamicchangesininputdata.(2)PoseestimationmethodsbasedonTransformers

uniformlysampletokensequencesasinput,leadingtodifficultiesinrepresen