多目标跟踪与分割数据集及方法研究.pdfVIP

MOTS：多目标与分割

1111

PaulVoigtlaenderMichaelKrauseAljo˘saO˘sepJonathonLuitenBerin

12112

BalachandarGnanaSekarAndreasGeigerBastianLeibe亚琛工业大学·普朗

克智能系统和图宾根大学¨

特伦德，奥塞普，，莱布@vision.rwth‑aachen.de迈克尔·克劳斯，贝

林·格纳@rwth‑aachen.deandreas.geiger@tue.mpg.de

本文将流行的多目标任务扩展到多目标与分

割（MOTS）。为实现这一目标，我们使用半自动标注流

程为两个现有的数据集创建了密集的像素级标注。我

们的新标注包含在10,870个帧中的977个不同对象

（汽车和行人）的65,213个像素掩码。在评估方面，我们

将现有的多目标评估指标扩展到这一新任务。此外，

我们提出了一种新的基线方法，通过一个单一的卷积网络

共同解决检测、和分割问题。我们通过在MOTS标注

上训练取得性能提升，从而展示了我们数据集的价值。我

们相信，我们的数据集、评估指标和基线方法将成为开发

二维边界框的多目标方法的重要资源。我们的标

注、代码和模型可在图1：分割与边界框。当目标相互靠近时，一个目标的

h边界框可能包含另一目标的较大区域，而像素级的分

t

tps://割掩码则能精确定位目标。此处显示的标注来自我们

获取。

的KITTIMOTS数据集的裁剪结果。

1.引言对象的边界框标注。这些标注可能过于粗糙例如，当

近年来，计算机视觉领域在日益复杂的任务上取对象部分被遮挡时，其边界框可能包含比对象本身更

得了显著进展。深度学习技术在目标检测以及图像和实多的其他对象信息，见图1。在这种情况下，对对象进

例分割方面已展现出令人印象深刻的性能。然而，行像素级分割能够更自然地描述场景，并可能为后续

任务仍然具有性，尤其是在涉及多个目标的情况处理步骤有用的信息。对于分割掩码来说，

下。特别是，的评估结果[37,7,25]表明，边界存在明确定义的真值标注，而许多不同的（非紧密）

框级别的性能已趋于饱和。只有转向像素级别，才边界框可能大致符合一个对象。同样，具有边界

有可能实现进一步的提升。因此，我们认为检测、分割框的轨迹在与真值进行比较时会产生歧义，通常需要

和这三项任务是相互关联的问题，需要综合考虑。在评估时通过启发式匹配过程来解决这些歧义。而基

于分割的结果从定义上来说是非的，因此可

可用于训练和评估实例分割模型的数据集通常不

以以一种更直接的方式与真值进行比较。

数据的标注，甚至不跨图像的对象

信息。另一方面，用于多目标的常用数据集仅提

因此，本文提出将经典的多目标任务扩展到

供对象的边界框标注

实例分割。这一新任务称为“多目标