深度神经网络基础知识体系构建及学习路径优化.docxVIP

深度神经网络基础知识体系构建及学习路径优化

目录

深度神经网络基础知识体系概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

深度神经网络基础理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1神经元与激活函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2权值初始化与优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3损失函数与反向传播．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

神经网络学习路径优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1学习率调整方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2正则化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.3批次归一化与层归一化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

网络结构设计优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

4.1网络层数与神经元数量的选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

4.2卷积神经网络结构优化．．．．．．．．