神经网络理论架构及其深度学习演进分析.docxVIP

神经网络理论架构及其深度学习演进分析

目录

神经网络理论架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

神经网络结构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.1神经元模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.2网络拓扑结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3激活函数与非线性映射．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

深度学习技术演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1深度学习的起源与发展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.2深度学习的关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.3深度学习在各个领域的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

神经网络训练方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.1梯度下降法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.2随机梯度下降