基于梯度下降的深度神经网络参数自适应优化算法研究.docxVIP

基于梯度下降的深度神经网络参数自适应优化算法研究

目录

文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

深度神经网络概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1深度神经网络基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2深度神经网络的层次结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3深度神经网络的优化目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

梯度下降算法原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.1梯度下降算法概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2梯度下降算法的数学基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.3梯度下降算法的优缺点分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

参数自适应优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.1参数自适应优化概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

4.2自适应学习率方法．．