基于线索选择RD图像交互式分割算法研究.pdfVIP

基于线索选择的RGBD图像交互式分割

JieFeng1BrianPrice2ScottCohen2Shih‑FuChang1

1哥伦比亚大学2AdobeResearch

{解封，sfchang}@{bprice,scohen}@

交互式图像分割是计算机视觉中的一个重要问题，具

有许多应用，包括图像编辑、对象识别和图像检索。现有

的大多数交互式分割方法仅适用于彩像。直到，

才有一些工作提出利用低成本传感器的深度信息来改进交图1：前景/背景示例。(a)复杂外观，干净的深度分离；

互式分割。虽然这些方法比基于颜色的方法取得了更好的(b)接触表面；(c)同一表面，不同外观；(d)接触表

结果，但它们仍然受到限制，要么将深度作为额外的颜色面，相似外观，背景杂乱。

通道使用，要么简单地以线性方式将深度与颜色结合。我

们提出了一种新颖的交互式分割算法，该算法可以在统一

理想的交互式分割算法应：1）需要最少的用户交互；

的图割框架中融合多种特征线索（如颜色、深度和法

2）达到良好的准确性。然而，图像中的颜色受到光照、

线），从而更有效地利用这些线索。我们的方法的一个关

外观、遮挡等因素的影响，使得它们在分割任务中不

键贡献在于，它能够自动选择每个像素处使用的单一线

太可靠。由于这一，为了在复杂图像上获得令人

索，基于这样的：在局部确定分割时，只需一个

满意的结果，仍然需要用户付出相当大的努力。

线索就足够了。这是通过同时优化分割和线索来

实现的，使用设计用于决定分割和线索应在何处变化

的项。因此，我们的算法不仅生成分割掩码，还生成一个近年来，低成本深度传感器的出现，如微软

线索图，指示每个线索对最果的贡献位置。在五Kinect、英特尔RealSense和谷歌ProjectTango。

个大规模RGBD数据集上的大量实验表明，与其它基于这些传感器能够获取深度图像，捕捉场景到相机的每个

颜色和RGBD的方法相比，我们的算法在减少用户输入量像素的距离。这些信息对于图像分割非常有用，但

以及提高分割精度方面表现出显著优势。在彩色成像过程中会丢失。除了深度之外，还可以从深

度图像中提取其他特征线索来描述场景，例如法线图、

3D点云、网格结构等。与配对的RGB彩像一起，

RGBD图像允许结合多种互补线索的可能性，以减少用

1.引言户输入，同时保持或甚至提高准确性。

二值图像分割是将像素分为前景和背景的过程。它

是许多计算机视觉应用中的一个重要问题，例如图像编尽管如此，关于RGBD图像交互分割的研究成果仍然很

辑、物体识别、图像检索等。自动分割本质上是模糊的，少。这些研究要么将深度作为额外的颜色通道处理，

因此在没有对内容进行任何次理解的情况下，无法在要么简单地对不同线索的置信度进行全局线性组合以生成最

任意图像上获得令人满意的结果。另一方面，交互式图像果，从而使性能优于仅使用颜色的情况。然而，现实世

分割允许用户告诉算法应该选择什么或不应该选择什么。界中的物体和场景是复杂的，如图所示。以固定方式混合深

度和颜色线索会降低每个单独线索的原始辨别力，并且不允