大模型在超大规模集群上的性能提升实践V0.5.pdf

大模型在超大规模集群

性能提升实践

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

演讲人：ZOMI酱

目录

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

01大规模集群发展02集群组网优化

03多模态性能优化04小红书案例

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

01

大规模集群发展

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

我没有副标题哦

算力ScalingLaw：万卡集群成为新的军备门槛

•Meta基于1.6万H100集群训练LLAMA43.1，6KH100训练MovieGen

•XAI基于2.4万H100集群训练，自建10万H100集群训练Grok-3

训练完训练中建设中？？？

10万GB100

Grok-3LLaMA4？？？

OpenAI10万卡H10010万卡H100

10万卡H100

100K

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

1万卡H100集群成为标配

Grok-2

2.4万卡H100

Claude310万卡H100集群逐步成为主流