DeepSeek系统软件优化总结_翟季冬.docx

DeepSeek系统软件优化总结

翟季冬

清华大学计算机系

1

DeepSeekV3公开的预训练成本

按照H800GPU每小时每卡2美元租赁成本，全部训练成本：5,576,000美元不包括前期探索模型架构、消融实验等开销

预训练时间估计：

2048张H800计算：~54天10000张H800计算：~11天

DeepSeek公开的V3训练成本

2

主要模型参数

DeepSeekV3模型参数：

671B参数（GPT-3：175B、GPT-4：1.76T?）

每个token激活37B参数、~5.5%

61层Transformer、Hiddendimension：7168

FFNMoE：1共享专家（sharedexpert）+256路由专家（routedexperts）每个token激活8个路由专家

3

DeepSeek模型架构

DeepSeek架构：MLA(multi-headlatentattention)+MoE(mixtureof

experts)

4

DeepSeekMoE架构

bDeepSeekMoE架构

共享专家+路由专家MoE架构

5

并行训练框架

并行训练框架HAI-LLM：

流水线并行：16路

专家并行：64路（跨8个物理节点）

数据并行：ZeRO-1

张量并行：No（通信开销大）

网络拓扑结构

IB

50GB/s

NVLink160GB/s

6

主要系统优化方法

负载均衡

通信优化

内存优化

计算优化

7

负载均衡优化

负载均衡是MoE训练的一个主要挑战

提出Auxiliary-Loss-FreeLoadBalancing

核心思想：引入一个ExpertBias

保证专家负载均衡

Bias只影响专家路由、不产生任何梯度影响

动态调整ExpertBias

降低bias：如果对应专家overloaded

增大bias：如果对应专家underloaded

Loss-Free负载均衡策略[1]

[1]LeanWang,HuazuoGao,ChenggangZhao,XuSun,DamaiDai.Auxiliary-Loss-FreeLoadBalancingStrategyforMixture-of-Experts.

2024.Aug.

8

通信优化：精细编排计算和通信

提出DualPipe算法：

精细控制分配给计算和通信的GPUSM数量，保证计算和通信能够完全重叠

解决专家并行AlltoAll通信开销大的问题

9

通信优化：双向流水线机制

双向流水线并行：

前向和反向重叠的阶段

双向流水线导致两份模型参数存储更大的专家并行

示例：8级流水线并行、20个micro-batch

10

通信优化：跨节点通信优化

IB带宽

50GB/s

跨节点通信优化：

跨节点：每个token最多路由到4个物理节点

节点内：每个token平均选择3.2个节点内专家IB和NVLink的重叠：

NVLink带宽160GB/sNVLink:160GB/sIB:50GB/s=3.2

NVLink带宽

160GB/s

路由策略：IB转发NVLink转发

warpspecialization技术[1]

20个SM控制通信（132SM）

动态调整：分配给通信任务warp数量

11

11

[1]Singe:LeveragingWarpSpecializationforHighPerformanceonGPUs.2014.

内存优化

优化GPU内存使用：

重计算：RMSNorm、MLAup-projection

使用CPU内存：在CPU侧保存模型参数的指数移动平均、异步更新

参数共享：主模型和MTP模块的outputhead和embedding部署在相同节点

12

计算优化：混合精度训练

FP8：核心计算GEMM采用FP8

提高模型精度（减缓outlier影响）：

细粒度量化：

FP8混合精度的整体训练思路Activation:1*128Tile

FP8混合精度的整体训练思路

Weight：128*128block分组

增加累积的精度