通过条件运动传播实现自监督学习.pdfVIP

通过条件的自监督学习

11112

XiaohangZhan,XingangPan,ZiweiLiu,DahuaLin,和ChenChangeLoy

12

CUHK‑SenseTime联合，中文大学南洋理工大学

1{zx017,px117,zwliu,dhlin}@ie.cuhk.edu.hk2

ccloy@ntu.edu.sg

智能自然地从中学习。各种自监督算法

已经利用了线索来学习有效的视觉表示。这里的障

碍是既模糊又复杂，导致以前的工作要么学习效果

下降，要么依赖于对物体的强烈假设。在这项工作

中，我们设计了一种新的学习范式来弥合这些差

距。不是显式建模概率，预训练任务设计为

条件问题。给定输入图像及其上的几个稀疏流

导向向量，我们的框架旨在恢复全图。与其他替代

方案相比，我们的框架具有几个吸引人的特性：(1)在

训练期间使用稀疏流导向解决了固有的模糊性，从

而简化了特征学习。(2)解决条件的预训练任

务鼓励出现更具表达力的动力学合理的表示。大量实验图1.我们的条件任务的插图。在训练中，目标是从

表明，我们的框架学习了结构化和连贯的特征；并在包静态图像预测光流，条件是稀疏的指导。指导由从目标

括语义分割、实例分割和解析在内的多个下游任务光流中使用“分水岭”策略（见第3.2节）采样的稀疏速度

上实现了最先进的自监督性能。此外，我们的框架已成组成。在测试中，指导可以是任意的，模型能够预测出动力

学合理的结果。例如，如图(b)所示，给定左脚的指导，模型

功扩展到几种有用的应用程序，例如半自动像素级注

预测小腿正在旋转。光流使用Middlebury颜色轮进行可视

释。项目页面：

化，并应在彩色下查看。

h

t

t

p://mmlab.ie.cuhk.edu.hk/projects/CMP/。不断执行视觉预测的任务，通过想象角面

来进行。引入的自监督学在赋予机器类似的

能力，无需显式注释即可学习。通过精心设计包含自

然监督的预训练任务，自监督学习能够学习有效的表

1.引言示，这些表示可以用于多种下游场景。

人类具有在没有直接监督的情况下获得有用知识与静态预训练任务（如颜色化[34,15]和图像修

的非凡能力。我们周围的视觉世界高度结构化，因此复[29],相比，了更丰富和更有结构的信息

包含丰富的自然监督以供学习。在日常导航中，我们供我们利用。移动物体的通常指示其学

Self-SupervisedLearningviaConditionalMotionPropaion

1111