深度学习算法基础学习要点.docxVIP

深度学习算法基础学习要点

目录

一、初识深度学习的底层逻辑．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1模拟人脑的信息处理模式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2从感知机到多层网络的进化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3数学基石．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

二、深度网络的骨架构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1神经元模型的本质重构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2激活函数的认知机制与挑选策略．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3搭建多维数据的处理桥梁．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

三、优化算法的核心引擎．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1学习率调整策略——梯度下降的深化理解．．．．．．．．．．．．．．．．．．16

3.2动量算法缓解局部极小点的困境．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.3条件优化方法适应不同模型结构．．．．．．．．．．．．．．．．．．．．．．．．