[源码解析] PyTorch 分布式(1).docxVIP

PAGE PAGE 1 [源码解析] PyTorch 分布式(1) 0x00 摘要本文主要在对PyTorch官方文档的翻译之上加入了自己的理解，希翼给大家一个PyTorch分布式的历史脉络和基本概念，有爱好的伴侣可以认真讨论一下历史，看看一个机器学习系统如何一步一步进入分布式世界 / 完美其功能。本系列其他文章如下：[[[[[[[[0x01 PyTorch分布式的历史受到 这篇大作的启发，我们收拾一下到 1.9 为止，PyTorch 分布式的相关历史。注：假如大家想讨论 PyTorch 源码，推举 和 这两个专栏，源码解析颇为深化！PyTorch 分布式的历史以 的内容为主，笔者把目前的历史大致分成 7 个阶段。分离是：用法 torch.multiprocessing 封装了 Python 原生 multiprocessing模块，这样就可以利用多个CPU核。导入了 THD (distributed pytorch)，这就有了用于分布式计算的底层库。引入了torch.distributed包，它允许在多台机器之间交换张量。用法这个包可以在多台机器之上用法更大的batch举行训练。发布了 c10d 库，这成为 to