大规模模型训练及推理阶段的算力提效策略.docxVIP

大规模模型训练及推理阶段的算力提效策略

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文章结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

大规模模型训练与推理概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1模型训练阶段．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2模型推理阶段．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3算力需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

算力提效策略研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1硬件层面优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2软件层面优化．．．．．．．．．．．．．．．．．．．．．．．．．．