神经网络架构设计的关键技术研究.docxVIP

神经网络架构设计的关键技术研究

目录

文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

神经网络基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

神经网络架构设计关键要素．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

3.1架构设计的基本原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

3.2激活函数的选择与应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

3.3损失函数的设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.4反向传播算法的优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

网络层数与深度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

4.1网络层数的影响分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

4.2深度神经网络的训练难题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.3深度学习模型的突破与创新．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

网络宽度与节点数．．．．．．．．．．