深度学习核心算法创新与发展趋势分析.docxVIP

深度学习核心算法创新与发展趋势分析

目录

一、内容综述/前言．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、深度学习基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1特征学习模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2端到端学习模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3多层神经网络结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.4参数学习方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

三、核心算法深度解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1激活函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2优化算法演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.3正则化技术应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.4损失函数创新．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．