基于线索选择RD图像交互式分割方法研究.pdfVIP

基于线索选择的RGBD图像交互式分割

JieFeng1BrianPrice2ScottCohen2Shih‑FuChang1

1ColumbiaUniversity2AdobeResearch

{jiefeng，sfchang}@{bprice,scohen}@

交互式图像分割是计算机视觉中的一个重要问题，

具有广泛的应用，包括图像编辑、目标识别和图像检索

等。现有的大多数交互式分割方法仅在彩像上进行

操作。直到，才有少量研究尝试利用低成本传感器图1：前景/背景示例。(a)复杂外观，清晰的深度分离；

的深度信息来改进交互式分割。尽管这些方法比仅(b)接触表面；(c)相同表面，不同外观；(d)接触表

基于颜色的方法取得了更好的效果，但它们仍然局限于面，相似外观，背景杂乱。

将深度信息作为额外的颜色通道，或简单地以线性方式

将深度与颜色结合。我们提出了一种新的交互式分割算

法哪些区域应该被选中，哪些不应该。理想的交互式

法，可以在统一的图割框架中融合多种特征线索（如颜

分割算法应满足：1）需要最少的用户交互；2）达到

色、深度和法线），从而更有效地利用这些线索。我们

较高的准确性。然而，图像中的颜色会受到光照、外

方法的一个关键贡献在于，它能够基于以下，在每

观、遮挡等因素的影响，使得颜色在分割任务中变得

个像素上自动选择一个线索：即局部上仅需一个线索即

不可靠。由于这一，对于复杂图像，用户仍需付

可确定分割。这是通过优化分割和线索实

出大量努力才能获得满意的结果。

现的，使用了专门设计的项来决定分割和线索的改

变位置。因此，我们的算法不仅生成分割掩码，还生成近年来，低成本深度传感器（如

线索图，以表明每个线索对最果的贡献位置。Kinect、IntelRealsense和ProjectTango）

在五个大规模RGBD数据集上的大量实验表明，与其它不断涌现。这些传感器能够获取深度图像，捕捉场景

基于颜色和RGBD的方法相比，我们算法在减少中每个像素到相机的距离。这一信息对于图像分割

用户输入量和提高分割准确性方面均表现出显著优势。非常有用，但在彩色成像过程中会丢失。除了深度信息

之外，还可以从深度图像中提取其他特征线索来描述场

景，例如法线图、3D点云、网格结构等。结合对应的

RGB彩像，RGBD图像使得在交互式分割问题中融

合多种互补线索成为可能，从而减少用户输入，同时保

1.引言持甚至提高分割的准确性。

二值图像分割是将像素划分为前景和背景的过程。尽管如此，关于RGBD图像上交互式分割的研究

这对于许多计算机视觉应用来说都是一个重要问题，得很少。这些研究要么将深度信息视为额外的颜色通道，

例如图像编辑、目标识别、图像检索等。自动分割本质要么简单地对不同线索的置信度进行全局线性组合以生成

上是模糊的，因此在没有对图像内容进行理解的情最