深度神经网络的理论基础及其高级架构演进研究.docxVIP

深度神经网络的理论基础及其高级架构演进研究

目录

一、内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2核心议题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.4文档结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

二、深度学习理论根基．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1学习理论阐释．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.2泛化障碍深度剖析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.3反向传播算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.4优化算法理论进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

三、模型结构基石．．．．．．．．．．．．．．．．．