动态计算图机制下深度学习模型高性能训练优化策略.docxVIP

动态计算图机制下深度学习模型高性能训练优化策略

目录

一、内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2动态计算图机制概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3高效训练优化的意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

二、动态计算图关键技术研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1计算图的动态构建原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2张量操作的优化机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3动态计算的瓶颈分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

三、模型加速优化方案设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1并行计算策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2硬件利用率提升．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．