超大规模神经网络并行计算加速机制研究.docxVIP

超大规模神经网络并行计算加速机制研究

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

超大规模神经网络概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1神经网络基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.2超大规模神经网络的特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3超大规模神经网络的应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

并行计算基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1并行计算概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.2并行算法设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.3并行计算架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

超大规模神经网络并行计算挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．26

4.1数据并行挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

4.2模型并行挑战．