15_大模型训练硬件适配并行计算与集群互联的核心技术.docxVIP

大模型训练硬件适配：并行计算与集群互联的核心技术

万亿参数的大模型，单卡的显存，根本放不下，单卡的算力，训练一次，要几百年，所以，分布式的并行计算，成千上万的GPU，一起协同训练，成为了必然的选择。但是，这么多的GPU，一起工作，遇到了很多的挑战，通信的瓶颈，调度的瓶颈，硬件的适配瓶颈，都成为了新的问题。所以，大模型训练的硬件适配，并行计算的策略，集群互联的技术，成为了核心的课题，它们，支撑起了万卡级的训练集群，让万亿参数的大模型，成为了可能。

一、并行计算的策略：四种并行的组合拳

分布式的训练，核心，就是把大的任务，拆成小的任务，分到不同的GPU上，然后，协同的计算，根据拆分的方式，分为四种并行的策略，分别适配不同的场景。

首先，数据并行，这是最基础的，也是最常用的，它把模型，复制到每个GPU，然后，把数据，分成小的batch，每个GPU，处理一部分数据，然后，同步梯度。这种方式，适合模型比较小，数据比较大的场景，它的通信量，很小，只有梯度的同步，所以，对网络的要求，比较低，扩展性，也很好，适合千卡级的集群。

然后，模型并行，它把模型的层，分到不同的GPU，第一个GPU，处理前几层，第二个，处理后几层，流水线的执行，这种方式，适合模型很大，但是，每层的计算，不大的场景，它的通信，只有层之间的激活值的传输，也比较小。

然后，张量并行，它把单个的矩阵，拆成小的矩阵，分到不同的GPU，