DepthFlow：利用深度流结构相关性进行无监督视频目标分割-计算机科学-视频对象分割-网络训练.pdfVIP

DepthFlow：利用深度流结构相关性

进行无监督视频目标分割

SuhwanChoMinhyeokLeeJunghoLeeDonghyeongKimSangyounLee

GenGenAIYonseiUniversity

/suhwan-cho/DepthFlow

AbstractConventionalDatasetLarge-ScaleIncompleteDataset

本无监督视频对象分割（VOS）旨在检测视频中最显著的

N/AN/AN/AN/A

译对象。最近，利用RGB图像和光流的双流方法受到了

中广泛关注，但它们的表现从根本上受到训练数据稀缺性

1的限制。为了解决这一问题，我们提出了DepthFlow，

v这是一种新颖的数据生成方法，能够从单个图像中合DepthFlow

0

9成光流。我们的方法基于一个关键见解：VOS模型依赖

7

9于嵌入在流动图中的结构信息多于其几何准确性，并UnifiedDataset

1且这种结构与深度高度相关。我们首先从源图像中估

.

7计出深度图，然后将其转换为保持基本结构线索的合

0

5成流场。这一过程使得大规模图像-掩码对能够转化为

2图像-光流-掩码训练对，极大地扩展了网络训练可用的

:Large-ScaleCompleteDataset

v数据量。通过使用我们的合成数据训练一个简单的编

i

x码器-解码器架构，我们在所有公开的VOS基准测试中图1.我们合成数据生成方法的概述。我们将单个图像中的估

r计深度图转换为可信的光流，创建大规模的图像-流动-掩码

a实现了新的最先进的性能，展示了针对数据稀缺性问

训练对。

题的一种可扩展且有效的解决方案。

络训练需要包含RGB图像、光流图和分割掩码的完整

1.介绍数据集。然而，由于这种完整数据集的稀缺性，它们的

视频对象分割（VOS）是计算机视觉中的一个基本表现从根本上受到了限制，这仍然是一个重要的瓶颈。

任务，在各种应用中扮演着关键角色。根据使用场景的现有方法试图通过利用大规模不完整数据集来解

不同，VOS可能包含外部指导，如初始帧蒙版、点、人决这一挑战，例如通用视频分割数据集[8,9,51]或图

类交互或语言表达。本研究专注于无监督设置，目标是像级SOD数据集[3,37,44]。然而，视频分割数据集通

在没有任何外部指导的情况下分割最显著的对象。常包含不适合无监督VOS的掩码（例如非显著对象），

在无监督的VOS中，也称为视频显著目标检测而图像级SOD数据集缺乏光流图，限制了它们作为主

（SOD），双流方法最近受到了相当多的关注。这些方法要训练来源的有效性。因此，在小规模完整数据