大规模语言模型推理性能优化方法研究.docxVIP

大规模语言模型推理性能优化方法研究

目录

一、理论基点奠定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

文档综述与核心驱动．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

智能体引擎解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

核心议题厘清．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

二、方法体系构筑．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

模型结构调适．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

算法途径探索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

系统架构并行．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

硬件支撑优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

三、工具链与结构协同．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

优化排程方案集成．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

1.1算法模块化开发与并行列细规划．．