大规模语言模型训练推理阶段算力资源调度优化策略与能效权衡分析.docxVIP

大规模语言模型训练推理阶段算力资源调度优化策略与能效权衡分析

目录

一、背景介绍与挑战界定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、目标驱动式算力资源配置策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1任务级服务质量的可控性设计原理．．．．．．．．．．．．．．．．．．．．．．．．8

2.2工作负载特征识别与动态资源匹配机制．．．．．．．．．．．．．．．．．．．11

2.3基于服务质量保证的资源预留与弹性伸缩联动方案．．．．．．．．．14

三、面向复杂任务结构的算子级调度框架．．．．．．．．．．．．．．．．．．．．．17

3