深入探索深度 ViT.pdfVIP

深入探索深度ViT

SungraeHong

GraduateSchoolofDataScience

KAIST

DaeJeon,RepublicofKorea

sun.hong@kaist.ac.kr

Abstract

本已经有人尝试在类似LLM的视觉模型中创建大规模结构，如ViT-22B。虽然

译这项研究提供了大量的分析和见解，但我们对其实际效用的理解仍然不完

中整。因此，我们考察了该模型结构如何在本地环境中反应并训练。我们也强

调了训练中的不稳定，并对模型进行了一些修改以稳定它。从零开始训练的

1

vViT-22B模型，在相同参数规模下总体上优于ViT的表现。此外，我们还涉

1足图像生成任务，这在ViT-22B中尚未尝试过。我们提出了一种使用ViT的

81

图像生成架构，并研究了在图像生成方面ViT和ViT-22B哪个结构更合适。

1

4

0

.

8

01介绍

5

2

:“不，我告诉过你喜欢大的。我喜欢一切大的。”

v(崔慧静，《荣耀》（网飞系列），2022)

i

x

r最大大型语言模型（LLMs）[5,27]的出现为处理深度学习模型提供了新的视角。它通过首先

a

设计一个大规模基础模型，然后将其应用于下游任务来展示出卓越的性能，这与创建较小的

任务特定模型[22,29]形成对比。这一趋势在视觉研究中也日益突出。[31]提出了一种扩展

ViT模型的方法，展示了构建一个视觉基础模型的可能性。然而，这种尝试仅有15B的规模，

与拥有540B[5]规模的LLM模型相比仍然较小。因此，通过架构和配方修改，ViT-22B[6]

将可学习参数的数量提升到了22B。该模型不仅在众多可以量化的下游任务中取得了最先进

的或相当的表现，并且与多个视觉模型相比，在质量上也表现出更优的性能。

以这种方式，我们正在寻找与所有深度学习模型更大规模将有益的信念相一致的结果。然而，

一些研究对基础模型适用于所有任务这一信念提出警告，强调需要谨慎考虑[3]。这已经从

语言学的角度进行了分析，其中不同领域的专家对模型可靠性和发展潜力的看法存在差异。

由于视觉基础模型的进步速度慢于语言基础模型，很难具体指出问题所在。然而，可以确定

2

的是，ViT-22B是在一个庞大的私有数据集[26,19]上训练的，并且其训练参数并未公开，

使得我们难以从中受益。这意味着如果我们在本地或站点层面拥有可用的数据，我们需要自

1源代码可在/HongSungRae/ai602获得