陈仲铭-大模型在超大规模集群上的性能提升实践V0.5.pdf

大模型在超大规模集群

性能提升实践

演讲人：ZOMI酱

目录

01大规模集群发展02集群组网优化

03多模态性能优化04小红书案例

01

大规模集群发展

我没有副标题哦

算力ScalingLaw：万卡集群成为新的军备门槛

•Meta基于1.6万H100集群训练LLAMA43.1，6KH100训练MovieGen

•XAI基于2.4万H100集群训练，自建10万H100集群训练Grok-3

训练完训练中建设中？？？

10万GB100

Grok-3LLaMA4？？？

OpenAI10万卡H10010万卡H100

10万卡H100

100K

1万卡H100集群成为标配

Grok-2

2.4万卡H100

Claude310万卡H100集群逐步成为主流

20K1.8万卡H100

LLaMA3

1.6万卡H100

10K

Nemotron340B

0.6万卡H100

5K

202320242025

算力ScalingLaw：万卡集群成为新的军备门槛

•Meta基于1.6万H100集群训练LLAMA43.1，6KH100训练MovieGen

•XAI基于2.4万H100集群训练，自建10万H100集群训练Grok-3

集群规模利用率可用率

公司训练任务

（N）（MFU）（A)

MetaLLaMA31.6万H10040%99%

Nemotron

NV0.6万H10041.9%96%

340B

MFU、集群可用率是集群性能

LLaMA3性能=N*MFU*A

重要指标