2024⽤于⼤规模图像识别的Transformer.docxVIP

PAGE

PAGE7

一张图片胜过16x16个字：

用于大规模图像识别的Transformer

抽象的

尽管Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉领域的应用仍然有限。在视觉领域，注意力机制要

么与卷积神经网络结合使用，要么用于替换卷积神经网络的某些组件，同时保持其整体结构不变。我们证明，这种对卷积神经网络的依赖并非必要，直接将纯Transformer应用于图像块序列也能在图像分类任务中表现出色。当使用大量数据进行预训练并迁移到多个中小型图像识别基准数据集（ImageNet、CIFAR?100、VTAB等）时，视觉Transformer（ViT）与最