基于人体骨架的运动分析方法研究.pdfVIP

摘要

摘要

人体运动分析技术的本质是从捕获记录的人体运动数据中提取有意义的运动状态

信息，在体育运动和康复医疗等众多方面都有实际的应用价值，是计算机视觉的重要研

究热点之一。随着计算机技术与传感器技术的发展，人体骨架以其直观的表示方式和易

获得性逐渐成为了人体运动分析领域主流的数据格式。本文以人体骨架为运动数据表示，

针对人体运动分析中两个任务：一是康复动作分类与评估，二是重复动作计数与裁剪，

提出了具体的解决方案，主要工作和创新点如下：

1

（）在康复医疗中，多动作评估任务存在难以判定异常动作标签的问题。单纯将

动作评估视为分类问题，在异常动作与标准动作差异较小的情况下效果不佳。针对这些

问题，本文提出了一种基于时空图卷积的多任务孪生网络。该网络从坐标、运动向量和

骨骼三个方面充分提取骨架数据特征，将待测动作与标准动作在高维空间进行融合对比

来评估待测动作的标准性，同时预测输入的动作类别。该方法克服了已有方法只能通过

训练多个单动作评估模型来完成目标的难点，提高了模型的可扩展性和实用性。利用孪

生网络框架组合样本对的特点，训练样本的多样性得到了提高，可以有效改善康复动作

数据集中异常动作多样性较低的问题。通过在多个公开康复动作数据集上与现有方法的

实验比较，验证了该网络在动作评估和动作分类方面的有效性。

（2）早期的周期计数方法采用频域手段分析周期现象转化而来的一维时序信号，

难以应对复杂的周期重复模式与变化的周期频率。现有的深度学习方法探索任意物体的

周期重复规律，且只聚焦于最终的计数结果，针对人体重复动作的分析效果不佳。为了

解决上述问题，本文提出了一种基于时空图卷积的重复动作计数与裁剪网络，利用骨架

特征提取模块编码每帧动作的特征向量，并两两计算相似度形成特征相似矩阵展示丰富

的周期信息。其次，得益于设计的损失函数，该网络更关注于重复动作的过程，准确预

测出计数向量，从而计算子动作的周期边界帧。

3

（）针对周期重复动作时序不定长以及过长的问题，本文提出了一种回溯推理策

略，将输入拆分成多个模型窗口长度，模型的起始推理位置根据上一次推理的结果确定，

保证模型每次从完整的子动作开始推理。为了解决周期重复数据集的稀缺和标注不完整

的难点，本文利用Kinectv2.0搭建了一套数据采集系统，制作了拥有视频与人体骨架

的重复动作评估数据集VSRep。其次，在模型训练过程中，本文设计了一种数据增强

方法，从少量的真实骨架数据中生成大量带有标签的训练样本，模拟不同模式的周期重

复动作。最后与已有的周期计数方法相比，该网络在人体重复动作计数与子动作裁剪方

面具有更好的性能。经过大量的消融实验和结果可视化分析，验证了关键模块与优化算

法设计的合理性。

关键词：人体骨架，时空图卷积网络，动作评估，周期计数，数据增强

I

Abstract

Abstract

Theessenceofhumanmotionanalysistechnologyistoextractmeaningfulmotion

informationfromcapturedhumanmotiondata,whichhaspracticalapplicationvalueinmany

aspectssuchassportsandrehabilitationmedicine,andisoneoftheimportantresearch

hotspotsincomputervision.Withthedevelopmentofcomputertechnologyandsensors

technology,humanskeletonhasgraduallybecomethemainstreamdataformatinhuman

motionanalysisduetoitsintuitiverepresentationandeaseofacquisition.Thispaperisbased