无监督学习动作类别与时间嵌入.pdfVIP

无监督学习连续时间嵌入的动作类别

Anna

Kukleva

∗德国波恩大学

s6ankukl@uni‑bonn.de

Hilde

Kuehne

∗麻省理工学院‑沃森

kuehne@.com

Fadime

Sener,

Juergen

Gall

德国波恩大学

sener,gall@iai.uni‑bonn.de

在未裁剪中进行动作的时间检测和分割任务近年来受到了越来越多的。

在此背景下，一个问题是需要定义和标记动作边界以创建用于训练的数据标注，

这非常耗时且成本高昂。为了解决这个问题，我们提出了一种从未裁剪的序

列中学习动作类别的无监督方法。为此，我们利用帧级特征的连续时间嵌入，以

充分利用活动的顺序性。基于由嵌入创建的潜在空间，我们在所有中识别出

对应于语义上有意义的动作类别的时间片段簇。该方法在三个具有性的数据

集上进行了评估，即Breakfast数据集、指令数据集和50Salads数据集。

尽管之前的工设包含相同的高级别活动，但我们进一步展示了所

方法也可以应用于内容未知的一般设置中。

1.

引言

在过去几年中，动作识别任务取得了巨大的成功。迄今为止，高性能的方法需要

全面的监督来进行训练。然而，在未