大规模模型分布式训练优化与高效推理部署技术.docxVIP

大规模模型分布式训练优化与高效推理部署技术

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

大规模模型分布式训练技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1分布式训练概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2数据并行．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.3模型并行．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.4硬件加速技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.5分布式训练框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

高效推理部署技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1推理优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.3模型量化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．