大规模语言模型训练推理阶段的计算资源调度策略.docxVIP

大规模语言模型训练推理阶段的计算资源调度策略

目录

大规模语言模型计算资源调度策略概述．．．．．．．．．．．．．．．．．．．．．．2

计算资源调度策略设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

调度策略模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

3.1模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

3.2模型参数设定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

3.3模型优化方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

资源调度算法研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

4.1负载均衡算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

4.2动态资源分配算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

4.3虚拟化技术优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

调度策略性能评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

5.1评价指标