深度学习算法优化：原理与实践.docxVIP

深度学习算法优化：原理与实践

目录

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1深度学习算法概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2优化算法在深度学习中的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文档结构说明．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

深度学习基础知识．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1深度学习发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2神经网络基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3激活函数及其作用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

优化算法原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.1梯度下降法原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.2梯度下降法变体．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

优化算法