原创力文档- 1、本文档共36页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
千亿参数LLM的训练效率优化
演讲人：张力寰
零一万物/AIInfra分布式训练优化架构师
目录
CONTENTS
01模型训练硬件利用率影响因素02分布式训练效率提升
03FP8训练经验分享04MoE训练经验分享
05Goodput提升06总结与展望
模型训练硬件利用率影响因素
Llama3.1
•92页的技术报告
•最大405B的模型
•16KH100训练集群
•54天的预训练,466次任务中断
•MFU:40%左右
•Goodput:90%左右的有效训练时间占比
/pdf/2407.21783
MFU
•ModelFLOPSUtilization，模型算力利用率
•FLOPS(FloatingPointOperationsPerSecond)
표푏푠푒 푒怀�ℎ 표 ℎ푝 �
푀�
�ℎ푒표 푒� 㘴㘱൭푚㘱푥 푚 푚�ℎ 표 ℎ푝 �
/pdf/2407.21783
/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet
Goodput
•AmetrictomeasureAIsystemefficiency(Google)
•SchedulingGoodput
•RuntimeGoodput
•ProgramGoodput
/blog/products/ai-machine-learning/goodput-metric-as-measure-of-ml-productivity
分布式训练效率提升
DataParallelism
•DDP:DistributedDataParallel
•模型较小，数据量较大
/nemo-framework/user-guide/latest/nemotoolkit/features/parallelisms.html
TensorParallelism
•Megatron-LM-1
•拆分均匀，但通信量大
/pdf/1909.08053
PipelineParallelism
•GPipe(Google),PipeDream(Microsoft)
•Megatron-LM-2
•通信量低，但会引入bubble
/pdf/1806.03377
/pdf/1811.06965
/pdf/2104.04473
ExpertParallelism
•SwitchTransformers(Google)
•MegatronExpertPara
文档评论（0）