超大规模神经网络训练并行计算优化策略及加速实现研究.docxVIP

超大规模神经网络训练并行计算优化策略及加速实现研究

目录

一、内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

二、超大规模神经网络概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1神经网络基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.2超大规模神经网络特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3超大规模神经网络应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

三、并行计算优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1数据并行策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2模型并行策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．