陈仲铭-大模型在超大规模集群上的性能提升实践V0.5.docxVIP

大模型在超大规模集群性能提升实践演讲人：ZOMI

大模型在超大规模集群性能提升实践

演讲人：ZOMI酱

目录0102大规模集群发展集群组网优化0304多模态性能优化小红书案例

目录

01

02

大规模集群发展

集群组网优化

03

04

多模态性能优化

小红书案例

大规0模集群发展我没有副标题哦

大规0模集群发展

我没有副标题哦

算力ScalingLaw：万卡集群成为新的军备门槛？？？10万GB100训练完训练中建设中100K1万卡H100集群成为标配10万卡H100集群逐步成为主流20K10K5K202320252024Grok-3 LLaMA4？？？OpenAI 10万卡

算力ScalingLaw：万卡集群成为新的军备门槛

？？？

10万GB100

训练完

训练中

建设中

100K

1万卡H100集群成为标配

10万卡H100集群逐步成为主流

20K

10K

5K

2023

2025

2024

Grok-3 LLaMA4？？？

OpenAI 10万卡H100 10万卡H100

10万卡H100

Grok-2

2.4万卡H100

Claude3

1.8万卡H100

LLaMA3

1.6万卡H100

Nemotron340B

0.6万卡H100

Meta基于1.6万H100集群训练LLAMA43.1，6KH100训练MovieGe