通过深度排序帧学习选择引导帧进行对象分割.pdfVIP

BubbleNets：通过深度排序帧学习选择帧进行视

频对象分割

BrentA.GriffinJasonJ.

Corso密歇根大学{griffb,jjcorso}

@umich.edu

半监督对象分割在近年来对且具有性

的上取得了显著进展。当前的分割方法和基准数据

集范式是在中第一帧的单个注释来分割对象。

然而，我们发现，当选择其他帧进行注释时，整个

的分割性能会大幅波动。本文解决了学习建议中最

佳单帧供用户注释的问题——实际上，这从来不是

的第一帧。我们通过引入BubbleNets，一种新颖的深

度排序网络，该网络使用基于性能的损失函数，能够从

已存在的数据集中转换大量训练示例。利用

图1.当前对象分割的范式是在的第一帧中标注一个

BubbleNets，我们能够在DAVIS基准上实现11%的相

对象（，左）。然而，选择不同的帧进行标注会改变整

对分割性能提升，而无需对底层分割方法进行任何更改。

个的性能[更好（绿色）或更差（红色）]。为了最有效

地利用标注者的时间，我们的深度排序框架建议一个能够提

高分割性能的帧。

关键在于通过最佳的单帧注释来提高半监督

VOS方法的性能。然而，我们没有发现任何关于学习

1.引言选择哪个帧进行注释以用于VOS的工作。

对象分割（VOS），即从背景中密集分离为此，本文解决了选择单个帧进行注释的问

中的对象，仍然是理解领域的一个热门研究方向。鉴题，以实现更高的性能。从处理的开始，我

于在中进行密集注释的用户分割成本高昂[5,38],我们使用我们的深度气泡排序框架选择一个注释帧，该

们的社区正在开发许多新的VOS方法，并定期在支持框架通过我们的自定义网络BubbleNets对帧对之间的

VOS研究的基准数据集上进行评估[22,31,33,37,45]。相对性能进行预测。BubbleNets迭代地比较并交换相

与无监督VOS相比[12,21,29,44],半监督VOS，即在给邻的帧，直到预测性能最高的帧最高，此时，

定单个用户标注帧的情况下对中的对象进行分割的问

它被选中供用户注释并用于VOS。为了训练

题，已经取得了迅猛的发展，即使在过去一年内也是如此

BubbleNets，我们使用了一种创新的基于相对性能的

[2,4,7,8,9,16,17,25,28,30,35,46]。

损失函数，该方法在不增加帧要求的情况下，将

中物体的位置和外观在帧与帧之间可能会发训练样本的数量增加了几个数量级。最后，我们在多

生显著变化，通过我们自己的分析，我们发现使用不个VOS数据集上评估了BubbleNets的注释帧选择，并

同的帧进行注释会显著改变性能，如图1所示。注释视实现了高达11%的联合Jaccard指数和区域轮廓准确性

频数据是一个艰巨的过程，因此的相对改进，