Pych分布式训练与DeepSpeed技术.pdfVIP

图解分布式训练(六)——Pytorch的DeepSpeed深度解析

来自:

AiGC面试宝典

•图图解分布式训练（六）——

Pytorch的DeepSpeed深度解析

•动机

•一、为什么需要

Deepspeed？

•二、DeepSpeed

基本概念

能介绍一下吗？

•2.1

DeepSpeed

介绍

•2.2

DeepSpeed

基础概念

•2.3

DeepSpeed

支持的功能

•三、DeepSpeed

通信策略介绍

•四、DeepSpeed

如何使用？

•4.1

DeepSpeed

安装

•4.2

DeepSpeed

使用

•五、DeepSpeed

完整代码

•六、优化器与调度器

•6.1

优化器

•6.2

调度器

•七、训练精度

•7.1

自动混