基于深度学习隐式姿态嵌入方法研究.pdfVIP

细粒度姿态切片：无需显式姿态估计的姿态理解学习

Suha

Kwak

Minsu

Cho

Ivan

Laptev

WILLOW项目组

–

法国巴

´

黎Inria

/

Ecole

Normale

Supe´rieure

我们致力于学种感知姿态的紧凑嵌入表示，

使得具有相似姿态的图像在嵌入空间中彼此接近。

该嵌入函数基于深度卷积网络构建，并通过图像

数据上的三元组排序约束进行训练。该架构使我们能

够学习到一种鲁棒表示，通过有效消除服装、背景和

场景中成像条件的变化，捕捉姿态差异。对

于多种姿态相关任务，所姿态嵌入为显式姿态

估计了一种经济高效且自然的替代方案，规避了

关节定位的。我们通过基于姿态的图像检索

和动作识别任务验证了该嵌入方法的有效性。

图1：使用t‑SNE

[53]可视化的姿态嵌入流形。每个点

代表一张姿态图像。为更好地展示姿态嵌入与标