基于姿态估计的人体运动分析及边缘计算平台实现.pdf

摘要

计算机视觉技术已广泛应用于社会生活的各个领域。在这些领域中，人体姿态估计的应

用尤其引人关注，成为计算机视觉工程研究的重要方向之一。例如，基于个体的专业运动评

估、行为康复监测和人机交互等。目前，如何设计低复杂度的人体运动行为分析算法是重要

的应用研究内容。此外，考虑到个人隐私，基于红外成像的人体运动分析也逐渐成为研究关

注点之一。本文以JetsonXaviernx边缘计算平台为计算载体，深入研究轻量级面向实时的深

度神经网络，分别在可见光成像和红外成像两种环境下，构建了基于姿态估计技术的轻量级

人体运动分析算法，以满足上述场景下的应用需求。本文主要工作和创新点如下：

(1)提出了一种基于深度学习姿态估计的人体运动姿势分析算法，算法由两部分组成，即

姿态估计神经网络和人体运动分析后处理算法。在姿态估计网络中首先设计双分支下采样结

构增加姿态估计网络感受野的同时减少浮点运算数来提高检测效率；其次在网络特征提取主

干部分后构建增强特征提取模块，其目的是对提取到的人体深度特征信息进行整合和增强，

提升复杂环境下的检测精度。人体运动分析后处理算法的设计结合了人体运动学并充分考虑

不同运动自身的特性，负责映射姿态估计网络得到的关键骨骼点位置与人体运动时肢体状态

之间的关系，此外，本文在算法中增加了阈值判定系统，有效避免了环境中形状似人物体带

来的干扰，最后将上述算法部署于移动边缘设备中，加速人体运动分析处理过程。实验结果

表明，本文姿态估计算法在人体常见运动分析任务中表现优异，其检测精度达到90.9%，检

测速度达到77.6FPS(FramesPerSecond)，同时具备较好的抗干扰能力。因此，该算法能够在

实际环境中准确且实时地完成任务。

(2)提出了一种针对热红外成像的人体运动分析算法。将算法从可见光成像推广到红外

成像有两个主要的难点：一是红外成像在镜面环境下具有回波现象，导致红外成像中会出现

多个与本体特征十分相似的红外倒影(本文简称伪影)，针对这一干扰，本文设计了一个双阶段

轻量神经网络预先检测红外人体伪影位置，然后使用图像掩膜技术排除该区域，将该算法作

为干扰预处理部分放入姿态估计网络前端。二是红外人体成像容易与环境物体混淆而出现误

检现象，针对这一问题，本文在姿态估计网络中添加了包含注意力机制的浅层特征提取模块，

使得检测结果更加精确。其次对网络减枝，保留了大尺度和中等尺度的特征融合部分，提高

了检测效率。最后，本文将算法部署于边缘计算平台，并验证其在红外成像下的可行性。实

验结果显示，本文算法的检测精度为90.7%，检测速度达到83.3FPS，满足了实际环境中红外

人体常见运动分析对效率和精度的要求。

关键词:深度学习，姿态估计，人体运动分析，热红外成像，边缘设备

Abstract

Computervisiontechnologyhasbeenappliedinvariousdomainsofsociallife.Amongthese

domains,theapplicationofhumanposeestimationhasgarneredparticularattentionandhasbecome

animportantresearchdirectionincomputervisionengineering.Forexample,itfindsapplicationsin

individualizedsportsassessment,behavioralrehabilitationmonitoringandhuman-computer

interaction.Atpresent,animportantfocusofappliedresearchisthedesignoflow-complexitymethod

forhumanmotionanalysis.Inaddition,consideringpersonalprivacy,humanmotionanalysisbased

oninfraredimaginghasgraduallybecomeoneoftheresearchconcerns.