大规模预训练模型训练推理阶段算力资源调度优化研究.docxVIP

大规模预训练模型训练推理阶段算力资源调度优化研究

目录

内容概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

相关技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1大规模预训练模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.2训练推理阶段概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.3算力资源调度技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

算力资源调度优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1资源需求预测方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2调度算法设计与实现．．．．．．．．．．．．．．．．．．．．．．．．