大规模预训练模型的推理加速与资源调度策略.docxVIP

大规模预训练模型的推理加速与资源调度策略

目录

一、内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与驱动力．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2问题界定与研究范畴．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究意义与价值探讨．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

二、推理加速技术体系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1模型降维重塑方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.2量化与精度调控策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3计算架构复用技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

三、资源配置与调度框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1资源映射与实例化管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2高效调度编排策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3