大模型分布式训练的第四种境.docx

大模型分布式训练的第四种境界

段石石-壁仞科技-技术专家

目录CONTENT

01历史背景

02分布式训练挑战

03分布式训练技术介绍

04未来挑战

01

历史背景

LargeLanguageModels

LLMInfra

02

分布式训练挑战

LLMneedHugeFLOPS

TransformerFLOPsEquation:

C=τT≈6ND

N:thenumberofparameters;

D:thenumberoftoken

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档