图解分布式训练：nn.DataParallel详解与应用.pdfVIP

图解分布式训练(二)——nn.DataParallel篇

自试典

来:AiGC面宝

为什么需要nn.DataParallel？

多GPU并行训练的原理是将模型参数和数据分布到多个GPU上，同时利用多个GPU进行计算以加速训练过程。具

体实现需要考虑以下两个问题：

数据如何划分？因为模型需要处理的数据通常很大，将所有数据放入单个GPU内存中可能会导致内存不足，因此我

们需要将数据划分到多个GPU上。一般有两种划分方式：

•数据并行：将数据分割成多个小批次，每个GPU处理其中一个批次，然后将梯度汇总后更新模型参数。

•模型并行：将模型分解成多个部分，每个GPU处理其中一个部分，并将处理结果传递给其他GPU以获得最

果。

计算如何协同？因为每个GPU都需要计算模型参数的梯度并将其发送给其他GPU，因此需要使用同步机制来保证

计算正确性。一般有两种同步方式：

•数据同步：在每个GPU上计算模型参数的梯度，然后将梯度发送到其他GPU上进行汇总，最终更新模型参数。

•模型同步:在每个GPU上计算模型参数的梯度，然后将模型参数广播到其他GPU上进行汇总，最终更新模型参

数。

一、pytorch中的GPU操作默认样的？

pytorch中的GPU操