基于级联分组力高效视觉Transformer模型研究.pdfVIP

EfficientViT：采用级联分组注意力的高效内存视觉

Transformer

1

nyu

Liu,∗,

112,

2,

2,

2,

2Houwen

Peng

Ningn

Zheng

Yuqing

Yang

Han

Hu

Yixuan

Yuan

中文大学，微软

3202

年

M1

1

视觉Transformer凭借强大的模型能力取得了巨

大成功，但其卓越性能伴随着高昂计算成本，难以应

用于实时场景。本文提出高效视觉Transformer系列

EfficientViT。我们发现现有Transformer模型的速度

通常受限于内存低效操作，尤其是MHSA中的张量变

]形和逐元素函数。为此，我们设计了三明治结构的新

[

VC。s

c1

v

7

2

0

7

0。5

0

3

2

模块——在高效FFN层间使用单次内存绑定的

MH