基于骨骼序列的无监督人体动作表示学习研究.pdfVIP

摘要

人体动作识别是计算机视觉领域一项重要且极具挑战性的任务，其在自动驾

驶、人机交互等领域具有广泛的应用场景。人体动作可由多种数据模态表示，如

RGB视频、骨骼序列、深度图等。其中三维骨骼序列作为人体结构的高层次抽

象，与其他模态相比具有轻量性、隐私保护性、面对复杂条件变化的鲁棒性等显

著优势，更具实际应用价值。目前基于骨骼序列的三维人体动作识别算法研究已

经取得了较大进展，但多数基于有监督学习，依赖于大量标注数据。标注数据收

集成本过高，并且仅使用标签不能完全挖掘数据的内在表示。本文针对现有方法

存在的局限性，重点研究如何从未标注骨骼序列学习到更为鲁棒的动作表示，实

现更精确的动作识别效果。本文完成的主要工作如下：

1）本文提出了一种新的无监督学习框架称为关系一致性学习方案

（Skeleton-basedRelationConsistencyLearningScheme,SRCL），利用实例间的相

似性分数分布作为关系度量，将对比的对象由单个实例扩展为一组实例的关系分

布。通过引入在线网络和目标网络骨骼实例不同增强之间的关系一致性学习，在

强化同一骨骼样本不同增强的相似性的基础上，实现了与其他样本间关系的一致

性，进一步提升了三维动作表示学习的效果。在三个大规模三维人体动作识别数

NTURGB+D-60NTURGB+D-120PKU-MMD

据集，以及上通过大量实验验证

了所提方案的有效性。

2）本文提出了一个基于注意力特征丢弃的无监督三维动作表示学习架构

Attention-basedFeatureDropLearning,AFDLSRCL

（），以解决的学习过程并未

考虑特征在空时维度的重要性以及学习后期存在的过拟合问题。具体地，AFDL

Attention-basedFeatureDropModule,

设计了一个新的注意力特征丢弃模块（

AFD）以及相应的丢弃对比学习策略。其中注意力特征丢弃模块利用空时注意力

机制分别量化空时特征的重要性，丢弃对比学习策略则有针对性地丢弃重要程度

高的特征，之后训练模型学习丢弃部分重要特征后的实例表示与原实例表示之间

关系分布的一致性，迫使其在丢弃一些重要特征的情况下也可以学习到鲁棒的动

作表示，同时有效解决了过拟合问题。实验结果表明，AFDL在具有挑战性的

NTURGB+D-60NTURGB+D-120PKU-MMD

，和数据集上达到了目前最优的无

监督动作识别效果。

关键词：动作识别，无监督学习，关系一致性，特征丢弃，骨骼序列

I

II

ABSTRACT

Humanactionrecognitionisanimportantandchallengingtaskinthefieldof

computervision.Ithasawiderangeofapplicationsinmanyfields,suchas

autonomousdrivingandcomputerinteraction.Humanactioncanberepresentedbya

varietyofdatamodalities,suchasRGBvideo,skeletonsequenceanddepthmap.As

thehigh-levelabstractionofhumanbodystructure,3Dskeletonsequencehasmany

advantagesoverothermodalities,suchaslightweight,privacyprotection,robustness

tothechangeof