大模型分布式训练的第四种境.pptx

大模型分布式训练的第四

种境界

段石石-壁仞科技-技术专家

分布式训练技术介绍

未来挑战

历史背景

分布式训练挑战

目录CONTENT

01

历史背景

LargeLanguageModels

LLMInfra

02

分布式训练挑战

LLM

#parameters

#tokens

FLOPS

GPT3

1.75*10^11

3*10^11

3.15*10^23

LLM-65B

6.5*10^10

1.4*10^12

5.46*10^23

PaLM

5.4*10^11

7.8*10^11

2.53*10^24

TransformerFLOPsEquatio

文档评论(0)

1亿VIP精品文档

相关文档