AutoFocusFormer图像分割技术研究.pdfVIP

表

{

边框‑折叠:

紧凑;

}

表格,

th,

td

{

边框:

1px

固定

#000;

}

AutoFocusFormer：网格外的图像分割

1*,

Kaushik

Patnaik2,

施2,

阿尔文·万2,

磊2,

Alex

Schwing2,

Alex

Colburn2,

李

福新1,2

1俄勒冈州立大学,

2苹果公司

{chenziw,

lif}@

{卡舒克·帕特奈克,

szhai,

阿尔文·万,

赵磊

任,

aschwing,

alexcolburn,

fli26}@

图像通常具有高度不平衡的内容密度。有些区域非常均匀，例如大片的蓝天，而

其他区域则散布着许多小物体。然而，卷积深度网络常用的连续网格下采样策略对所有区

域一视同仁。因此，小物体在很少的空间位置上得到表示，导致分割等任务的效果变差。

直观地讲，在下采样过程中保留更多表示小物体的像素有助于保存重要信息。为此，我们

提出了AutoFocusFormer（AFF），这是一种局部注意力变换器图像识别主干网，它通

过学习保留对任务最重要的像素来实现自适应下采样。由于自适应下采样生成了一组在图

像平面上不规则分布的像素点，我们放弃了传统的网格结构。相反，我们开发了一种新的

基于点的局部注意力模块，借助平衡聚类模块和可学习的邻域合并模块，为我们的基于点