弱监督对抗重投影网络人体姿态估计.pdfVIP

RepNet:弱监督训练对抗重投影网络进行3D姿态估计

BastianWandt和Bodo

RosenhahnLeibnizUniversitat

Hannover汉诺威，德国

wandt@.uni‑hannover.de

本文解决了从单个图像中估计3D姿态的问题。

长期以来，人类骨架被参数化并拟合到观察结果以满足

重投影误差，而如今研究人员直接使用神经网络从观察

结果推断3D姿态。然而，大多数这些方法忽略了必须

满足重投影约束的，并且容易过拟合。我们通过忽

略2D到3D的对应关系来解决过拟合问题。这有效地避

图1.我们的网络从嘈杂的2D关节检测中预测3D姿态。

免了对训练数据的简单记忆，并允许进行弱监督训练。我们使用弱监督对抗训练，而不需要2D到3D点对应关系。

所重投影网络（RepNet）的一部分学习从2D姿我们的批评网络强制生成合理的3D姿态，同时重投影层将

态分布到3D姿态分布的映射，采用对抗训练方法。网络3D姿态重新投影回2D。即使在强烈变形和不寻常的机

的另一部分估计相机。这使得可以定义一个网络层，该姿态下也能进行重建。

层将估计的3D姿态重新投影回2D，从而产生重投影损

失函数。atic.本文提出了法，通过使用弱监督对抗学习

方法训练的神经网络来克服这一问题。我们放宽了训

练数据中的每张图像都给出特定3D姿态的假设，通过

我们的实验表明，RepNet对未知数据具有良好的泛训练一个判别网络——广泛用于生成对抗网络

化能力，并在应用于未见过的数据时优于最先进方法。此（GAN）——来学习3D姿态的分布。第二个

外，我们的实现可以在台式机上实时运行。神经网络从检测到的2D关键点（由获得）的分布

学习映射到根据判别网络有效的3D关键点的分布。从

生成对抗网络的角度来看，这可以被视为网

1.引言络。为了迫使网络生成与2D观察匹配的3D姿

态，我们建议添加第三个神经网络，该网络从输入数

从单目图像中估计姿态是计算机视觉领域一个

据中预测相机参数。推断出的相机参数用于将估计的

非常活跃的研究方向，具有许多应用例如.在、医学、

3D姿态重新投影回2D，这赋予了该框架其名称：重投

或人机交互中。的方法能够从单目图像中推断

影网络

出高质量的3D姿态

（RepNet）。图。展示了所网络的概览。此外，

.然而，大多数的

方法使用的是神经网络，这些网络通常通过输入到输出为了进一步强制执动学约束，我们建议采用一个

数据的严格分配进行训练例如.易于计算的关节长度和角度描述符，灵感来自于

这导致在类似数据上产生令人惊讶的出色结果，但通常对