端到端学习深度结构主动轮廓实现建筑物实例分割.pdfVIP

端到端学习深度结构主动轮廓

迭戈·，德维斯·图亚，本杰明·凯伦贝格张丽莎，，拉克尔·乌尔塔桑多伦多

瓦赫宁根大学，荷兰大学，{lczhang,mbai,rjliao,urtasun}

name.surname@wur.nl@cs.toronto.edu

世界上遍布着数以百万计的建筑物，准确了解每

个建筑物实例的位置和范围对于众多应用至关重要。最

近，得益于卷积神经网络（CNN）的使用，自动化建筑

物轮廓分割模型展现出了卓越的检测精度。然而，即使

是的模型在精确描绘边界时仍存在，这常常导

致几何失真以及相邻建筑物实例的意外融合。为了解决

这一问题，我们提出利用建筑物独特的几何

特性。为此，我们提出了深度结构主动轮廓（DSAC），

这是一种新颖的框架，将先验知识和约束条件整合到

分割过程中，例如连续边界、平滑边缘和角点。初始结果

图1.DSAC使用卷积神经网络（CNN）预测主动轮廓模型（ACM）所

DSAC采用主动轮廓模型（ACM），这是一类基于约

使用的能量函数，通过学习到的几何先验知识对初始实例多边形进行

束和先验的多边形模型。我们使用CNN对每个实例学修正。左图：来自TorontoCity验证数据集的图像及多边形；中

习ACM的参数化，并展示了如何将所有组件整合到一图：由的初始多边形；右图：DSAC的结果。

个结构化输出模型中，使DSAC能够端到端地进行训练。

我们在三个具有性的建筑物实例分割数据集上评

估了DSAC，其表现优于当前最先进的方法。代码将发诸如建筑区域覆盖估计之类的全球统计数据，但在实

布于。例级别上产生估计结果方面存在不足。在计算机视觉

领域，这个问题被称为实例分割，其中模型会在每个

对象实例的基础上一个分割掩码。与语义分割相

比，解决这一任务要具有性得多，因为模型必须

1.引言理解任意两个建筑像素是否属于同筑物。对于建

筑物来说，精确描绘对象边界（包括锐角和直墙）是

单个建筑物的精确轮廓对于许多应用都至关重要，

卷积神经网络通常表现不佳的任务：因此，卷积神

例如人口普查研究后的响应以及

经网络的建筑分割结果通常具有较高的检出率，但在

诸如疟疾的开发。因此，大规模建筑物

空间覆盖范围和几何正确性方面表现不佳。

轮廓分割的自动化一直是一个活跃的研究领域，而像全

卷积网络（FCN）这样的高容量模型的出现以及主动轮廓模型（ACM），也称为蛇形模型

大量训练数据的可用性已推动该领域取得了令人（snakes），可以用来解决这一问题。ACMs通过添

瞩目的进展。加几何约束和先验知识来增强自下而上边界检测

大多数研究关注于建筑物的语义分割，这包括在感器。它们通过将可能的输出限制为一类曲线（例如具

的航拍图像上为每个像素密集地推断出一个类别（例如