神经网络核心原理与优化机制探究.docxVIP

神经网络核心原理与优化机制探究

目录

文档简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

神经网络基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1神经元模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2激活函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.3前向传播与反向传播．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

神经网络结构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.1网络拓扑结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.2层次结构优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.3模型参数调整．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

神经网络训练方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.1梯度下降法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．