IM在语义分割中改进空间编码方法研究.pdfVIP

IM在语义分割中证明空间编码N

??

CarVenturaXavierGir´o-i-Nieto维·维拉纳

KevinMcGuinness†´斯?诺埃尔·E·奥康纳†

?UniversitatPolit`ècnicadeCatalunya(UPC)，巴塞罗那，西班牙

†Insight数据分析，都柏林城市大学(DCU)，

本文探讨了改进局部描述符池化空间编码的新方法，以解决语

义分割问题。我们建议将图像划分为三个区域来描述每个对象：

主体、边界和背景。这种划分通过在对象轮廓周围引入一个中

间区域，旨在最小化图像上下文对对象描述的影响以及反之亦

然。此外，我们还提出了一种更丰富的对象视觉描述方法，即

在主体区域应用空间金字塔。我们探索了两种新的空间金字塔

配置：基于笛卡尔的空间金字塔和基于冠状的空间金字塔。我

们使用最先进的技术测试这些方法，并展示了它们在Pascal

VOC2011和2012语义分割中的性能优于基于主体‑背景的池

化方法。图1.丰富的空间编码改善物体分割和识别的例子。左：待语义分

索引术语—语义分割，对象识别，对象分割，空间编码割的图像。中：基于前景‑背景空间池化的解决方案[6]。右：基于

前景‑边界‑背景空间池化的解决方案。

1.引言

对图像区域进行标记的传统方法通常基于类似SIFT的[1]和引入目标候选的边界池是相对于之前仅考虑前景‑背景（F‑G）

HOG的[2]特征，在每个区域内使用Bag‑of‑Features（BoF）空间池的工作的一个新贡献。这一中间区域旨在最小化图像上

[3,4,5]或的SecondOrderPooling（O2P）技术[6,7]下文对目标描述的影响以及反之亦然，同时捕捉位于目标附近

进行池化。此外，基于卷积神经网络（CNN）的方法由于的丰富上下文信息。

[8],[9]和[10]等工作的成果而在科学界中越来越受欢迎。然

而，CNN需要在大型数据库（如ImageNet分类，包含120万

另一方面，我们的工作还探索了一种丰富物体视觉描述的

张标注图像）上进行预训练。在本文中，我们研究了一种替代

新方法。我们提出景区域上应用基于轮廓的空间金字塔

方法，即手动设计特征而不是自动学习，从而减少了对大规模

（SP），并采用两种不同的配置：(i)基于环形的SP，将物体

数据集和昂贵处理的需求。

分为不同的环形区域进行池化，以及(ii)基于笛卡尔的SP，将

物体分为四个几何象限进行池化。这些更丰富的空间编码方法

具体来说，我们提出通过将图像划分为三个区域（图、边框和背

与O2P描述符[6]结合使用。请注意，O2P和BoF解决方案所

景），来改进视觉描述，这一方法受到Uijlings等人在[11]中报告的