基于生成式外观模型端到端目标分割方法研究.pdfVIP

生成式外观模型用于端到端目标分割

JoakimJohnander1,3MartinDanelljan1,2EmilBrissman1,4FahadShahbazKhan1,5

MichaelFelsberg1

12345

计算机视觉，大学，瑞典计算机视觉，理工学院，Zenuity，瑞典萨博，瑞典阿联酋，阿联酋

目标分割中的一个基本是找到目标和背

景外观的有效表示。目前性能方法为此目的采

用了对卷积神经网络进行大量微调的策略。除了成本

过高之外，这种策略无法真正实现端到端的训练，因

为微调过程并未集成到网络的离线训练中。

为了解决这些问题，我们提出了一种网络架构，能

够在单次前向传递中学习目标和背景外观的强大表示。

所引入的外观模块学习目标和背景特征分布的概率生成

模型。给定一幅新图像，它会预测后验类别概率，

一个高度判别的线索，并由后续网络模块进行处理。我图像RGMP[31]A‑GAME（本文方法）

图1.我们方法与RGMP[31]之间的比较。

们外观模块的学习和预测阶段都是完全可微的，在RGMP中，输入特征与初始掩码和特征图进行拼接。相比

从而实现了整个分割流程的真正端到端训练。全面的实之下，我们通过生成建模显式地捕捉目标和背景外观，包括

验表明，该方法在三个目标分割基准测试中均表现干扰目标。虽然RGMP存在严重，但本文方法成

出色。我们在DAVIS17数据集上缩小了与基于微功识别并准确分所有标注的目标。与RGMP一样，我们

调方法之间的性能差距，同时在单个GPU上可达到15不在第一帧调用计算成本高昂的微调，而是旨在通过单次前

帧每秒的运行速度。此外，我们的方法在大规模向传递学习外观模型。本图彩现效果最佳。

‑VOS数据集上了所有此前的方法。

与目标在视觉或语义上相似的

为应对上述，策略是在给定初始图像‑掩码

1.引言对的第一帧中调用大量迭代优化[1,2,21,30],。然而，这

目标分割（VOS）是指在序列中并种策略带来了巨大的计算成本，使得实时操作变得

分割一个或多个目标对象的任务。在本研究中，我们不可行。此外，由于微调步骤未包含在离线学习

考虑半监督设置，其中仅在第一帧中分割。阶段中，这些方法无法对分割流程进行端到端的训练。

该任务具有通用性，即目标是任意的，且不针对对象针对这些问题，我们探索了一种适用于VOS的前馈网络

类别做进一步假设。VOS问题在多个方面都具有架构，该架构完全避免了优化。

性。目标可能会经历显著的外观变化，并可能受到快

速或遮挡的影响。此外，场景中可能包含干扰目的研究将目标分割表述为一个前馈掩膜

标优化过程[23,31,34],，其中使用卷积神经网络将前一

帧的掩膜预测结果适配以匹配当前帧中的目标。然

AGenerativeAppearanceModelforEnd-to-endObjectSegmentation

JoakimJohnander1,3