深层神经网络原理与前沿应用路径探讨.docxVIP

深层神经网络原理与前沿应用路径探讨

目录

深层神经网络概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1深层神经网络的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2深层神经网络的定义与特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3深层神经网络的结构与组成．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

深层神经网络基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1神经元模型与激活函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2前向传播与反向传播算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3梯度下降优化方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

深层神经网络关键技术与优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.1权值初始化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.2正则化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.3损失函数的选择与优化．．．．．．．．．．