基于渐进稀疏预测级联视觉Transformer剪枝方法.pdfVIP

CP‑ViT：通过渐进式稀疏性预测的级联视觉Transformer剪枝

*，*，，江力，梁晓峣

交通大学

songzhuoran@sjtu.edu.cn

2

2视觉Transformer（ViT）在多种计算机视觉应用

0中取得了有竞争力的准确率，但其计算成本了在资

2

r源受限移动设备上的部署。我们探索了ViT中的稀疏性，

a发现仅需保留信息丰富的图像块和注意力头即可实现精

M确图像识别。本文提出名为CP-ViT的级联剪枝框架，图1.

ViT模型中FLOPs的计算分析

9通过渐进式动态预测ViT模型中的稀疏性，在最小化准

]确率损失的同时减少计算冗余。具体而言，我们定义累

前馈网络（FFN）、层归一化、激活函数和快捷连接

V积分数以保留ViT模型中信息丰富的图像块和注意力头，

C从而获得更好的准确率。我们还提出基于层级感知注意模块。如图1所示ViT‑B/16中各模块计算量占比