基于时序嵌入无监督动作类别学习研究.pdfVIP

基于连续时间嵌入的动作类别无监督学习

安娜·库克莱娃

∗德国波恩大学

s6ankukl@uni‑bonn.de

希尔德·∗MIT‑

Watson

马萨诸塞州市

kuehne@.com

法迪梅·塞纳,

·加尔

德国波恩大学

sener,gall@iai.uni‑bonn.de

未剪辑中时序检测与分割动作的任务受到越来越多的关注。该领域的一个

问题在于，为训练数据标注需定义和标记动作边界，这一过程极其耗时且成本高昂。

为解决此问题，我们提出了一种从未剪辑序列中无监督学习动作类别的方法。为此，

我们利用帧特征在连续时间上的嵌入表示，以充分发挥动作序列特性的优势。基于嵌入

所构建的潜在空间，我们在所有中识别出具有语义意义的动作类别对应的时间片段

聚类。该方法在三个具有性的数据集（Breakfast数据集、

I

nstructions数据集和50Salads数据集）上进行了评估。不同于先前工作默认包含相

同高级别活动的假设，我们进一步证明所提方法同样适用于