AI系列深度17期：视觉智能为何引入Transformer？.pptxVIP

增持（维持）

投资要点

n视觉Transformer化的本质，不是ViT对CNN的一次性替代，而是图像被token化、视觉归纳偏置回归、视觉基础模型形成的渐进过程。CNN之所以在AI1.0时代成为视觉核心架构，源于局部连接、权重共享和平移等变三项视觉归纳偏置与图像数据高度契合；但同样的强先验也带来局部感受野、任务专用、封闭标签和全局建模不足等约束，构成Transformer进入视觉任务的前提。

nTransformer进入视觉的关键，是ViT确立“图像patch即token”的表示方式，使二维图像可被改写为一维序列，并接入自注意力和大规模预训练范式