深度学习核心算法机理与模型架构演进研究.docxVIP

深度学习核心算法机理与模型架构演进研究

目录

一、文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.4研究方法与技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

二、深度学习核心计算方法解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.1梯度下降法及其变种．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.2反向传播算法详解．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

三、经典深度学习模型架构分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.1传统前馈神经网络框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.2卷积神经网络的研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.3循环神经