MegatronApp:面向万亿参数大模型的训练与推理增强实践.pdf

MegatronApp:面向万亿参数大模型的训练与推理增强实践.pdf

赵伯罕

●大模型训练中的典型困境

●MegatronAPP:把训练从黑箱变为可控系统

●Megascan:让慢节点无处藏身

目录●MegaFBD:解耦前后向计算实例

●MegaDPP:弹性流水线调度

.

文档评论(0)

1亿VIP精品文档

相关文档