Transformer199篇图像主干：重新思考视觉变压器空间维度.pdfVIP

重新思考视觉变压器的空间维度

11112*1

ByeonghoHeoSangd云允春尚赫

12

AI首尔国立大学计算机科学与工程系

1

2因此，基于自注意力机制而非卷积操作的新型网络架

0构在计算机视觉领域应运而生。

2视觉变压器（ViT）将变压器的应用范围从语言处

g理扩展到计算机视觉任务，成为现有卷积神经网络ViT与卷积神经网络（CNN）有很大的不同。输

u

A（CNN）的替代架构。由于基于变压器的架构对计算入图像被分成1616块并送入变压器网络；除了第一

机视觉建模具有创新性，因此对于有效架构的设计规个嵌入层外，ViT中没有卷积操作，位置交互仅通过

8

1范研究较少。我们从C