深度学习模型训练优化算法研究.docxVIP

深度学习模型训练优化算法研究

目录

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.2深度学习概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3训练优化算法的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.4国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.5本文研究内容与结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

相关理论与技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.1深度学习模型类型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.1.1卷积神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.1.2循环神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.2损失函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.2.1均方误差损失．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.2.2交叉熵损失．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.2.3其他损失函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

2.3梯度下降法及其变种．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

2.3.1常规梯度下降．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.3.2自适应学习率方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.3.3近端梯度法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

经典训练优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

3.1标准随机梯度下降法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

3.2动量法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

基于自适应机制的优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

基于学习率调整的优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

5.1学习率衰减策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

5.1.1固定衰减．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

5.1.2等比衰减．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

5.1.3动态调整．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

5.2自适应学习率调整算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

5.2.1余弦退火．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

5.2.2余弦调度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

5.2.3余弦退火调度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

基于正则化的优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

6.1L1正则化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

6.2L2正则化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

基于群体智能的优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

7.1遗传算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．60

7.2粒子群算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．