深度神经网络关键算法优化与架构设计研究.docxVIP

深度神经网络关键算法优化与架构设计研究

目录

文档概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

深度神经网络基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.1神经网络发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.2深度学习基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.3深度神经网络模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

关键算法优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.1激活函数优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.2权重初始化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．