Slide-Transformer：具有局部自力分层视觉变换器.pdfVIP

Slide‑Transformer:具有局部自注意力的分层视觉变换器

**†

XuranPanTianzhuYeZhuofanXiaShijiSongGaoHuang自动化系，

BNRist，

查询感受野键/值点

3

2自我-注意力机制一直是视觉变压器（ViT）近期进

0

2展的关键因素，它能够从全局上下文中进行自适应特

r征提取。然而，现有的自我-注意力方法要么采用稀疏

p的全局注意力，要么采用窗口注意力来减少计算复杂

A度，这可能会损害局部特征学习或受到某些手工设计

9的限制。相比之下，局部注意力将每个查询的感受野

ran

]限制在其自身的邻近像素上，享有卷积和自我-注意力(a)PVT