基于金字塔架构Transformer-in-Transformer改进基线.pdfVIP

Pyramid：基于金字塔架构改进的

Transformer‑in‑Transformer基线｜end▁of▁sentence｜

Kai

Han,

Jianyuan

Guo,

Yehui

Tang,

Yunhe

Wang

诺亚方舟｜end▁of▁sentence｜

郭建元,,@.com｜end▁of▁sentence｜

｜end▁of▁sentence｜

2Transformer网络在计算机视觉任务中取得了巨大进

2

0展。Transformer-in-Transformer（）架构利用内

2部Transformer和外部Transformer来提取局部和全局表

n示。在这项工作中，我们通过引入两个先进设计提出了新

a

J的基线：1）金字塔架构，2）卷积主干。新的“

4Pyramid”通过建立分层表示显著改进了原始。