超大规模参数网络模型训推一体化技术体系.docxVIP

超大规模参数网络模型训推一体化技术体系

目录

一、概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、指南理念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

三、基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

四、数据处理体系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

五、模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

5.1模型训练目标函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

5.2模型增量优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

5.3知识蒸馏技术应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

六、计算资源调配．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

6.1计算单元配比模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

6.2任务调度算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．