超大规模神经网络系统构建与工程化落地.docxVIP

超大规模神经网络系统构建与工程化落地

目录

一、超大规模神经网络系统规划与架构．．．．．．．．．．．．．．．．．．．．．．．．2

1.1系统能力界定与规模量化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2分布式计算基础设施选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3弹性高可用架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

二、神经网络模型训练体系构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1数据流水线优化设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2分布式训练方法论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3混合精度训练应用实践．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

三、系统规模化部署方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1渐进式基线搭建路径．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2弹性资源管理系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.3服务端到端监控体系．．．．．．．．．．．