大规模语言模型训练推理阶段的计算资源调度策略研究.docxVIP

大规模语言模型训练推理阶段的计算资源调度策略研究

目录

文档简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

大规模语言模型训练推理阶段概述．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1训练阶段．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2推理阶段．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

计算资源调度策略理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1资源调度概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2调度算法分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3调度优化目标．．．．．．．．．．．．．．．．．．．．．．．．