大规模语言模型训练优化与高效部署技术研究.docxVIP

大规模语言模型训练优化与高效部署技术研究

目录

一、大规模语言模型训练优化关键技术．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1硬件融合架构研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2分布式计算策略设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3模型架构创新．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.4训练参数优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.5效果评估框架构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

1.6模型-硬件协同优化白皮书．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

二、大规模语言模型高效部署技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.1云边端协同部署架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.2模型轻量化技术体系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.3分布式推理框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.4软件定义基础