基于移位窗口层级视觉变换器Swin Transformer.pdfVIP

基于移位窗口的分层视觉变换器：Swin

Transformer

†*林雨同†***‡†林

Stephen年

微软亚洲

{v‑

zeliu1,v‑

yutlin,yuecao,hanhu,v‑

yixwe,zhez,stevelin,baing@umoi}

1202

g

uA7

1

本文提出了一种新的视觉变换器——Swin

Transformer，它可以作为计算机视觉中的通用骨干网

络。将Transformer从语言领域适应到视觉领域的

源于两个领域的差异，例如视觉实体尺度的巨大变化以

及图像像素与文本单词相比具有较高的分辨率。为了解

]

[

VC。s

c2

v

0

3

0

决这些差异，我们提出了一种分层的变换器，其表示通

4

1。3

0

1

2

过Shiftedwindows计算得出。移位窗口方案通过限制

自注意力计算仅限于非