基于分层姿势复杂动作识别方法研究.pdfVIP

使用Actionlet和Poselet字典实现复杂动作理解的基于分层的方法

IvanLilloP.智利大JuanCarlosNieb斯坦AlvaroSotoP.智利

学智利亚哥ialillo福大学，哥伦比亚学大学智利亚哥

@uc.cljnieb@cs.stanford.eduasoto@ing.uc.cl

抽象的

复杂的

在本文中，我们引入了一种使用身体关节位置进

行动作识别的新层次模型。我们的模型可以对视

频中的复杂动作进行分类，并对构成正在执行的复杂生成的

复杂的进行读书会

动作的原子动作进行时空注释。也就是说，对于每个行动

s

n

o

i

t

原子动作，模型通过估计其开始和结束时间来生成时c

A

间动作注释，并通过推断执行该动作所涉及的部

位来生成空间注释。我们的模型包括三个关键的新颖

图1.具有复杂动作的序列中的示例帧。我们的方法能够识别全

特性：（i）它可以在没有空间监督的情况下进行训练，局复杂动作，以及有意义的动作（与actionlet相关）的时间和空间

因为它可以仅从时间动作注释中自动发现活动的身体跨度以及局部身体部位配置（与poselet相关）。

部位；(ii)它共同学习poselet和actionlet的灵活

表示，这些表示对身体部位和原子动作的视觉变化进行

编码；（iii）一种丢弃闲置或无信息身体部位的机制，。例子，图1说明了一个潜在的使用场景，其

以提高其对常见估计错误的鲁棒性。我们使用多个中具有复杂动作的输入通过识别其底层原子动作

动作识别基准来评估我们方法的性能。我们的模型始终和相应的时空跨度来自动注释。

优于基线和最先进的动作识别方法。推理复杂人类行为的一个有前途的研究方向是明

确地结合身体表征。实际上，正如很久以前注意

到的那样，身体对于区分人类行为具有丰富的信

息[13]。同样，的工作也证明了在动作识别模型

1。简介

[11,30]中明确纳入身体信息的相关性。虽然从彩

中的动作识别是智能、人机交互和像中估计仍然难以捉摸，但准确且经济

搜索等多种应用的关键技术。因此，它在计算机高效的RGBD相机的出现使得能够