神经网络理论基础及其高级架构演进研究.docxVIP

神经网络理论基础及其高级架构演进研究

目录

神经网络基础理论概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1神经网络发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2神经网络基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3神经网络模型分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

神经网络核心算法研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1前向传播与反向传播算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2梯度下降与优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3激活函数与权重初始化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

神经网络高级架构研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1卷积神经网络架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.2循环神经网络架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.2.1长短时记忆网络．．．