深度学习入门与实践 第六章 优化算法.pptVIP

第六章 优化算法《深度学习入门与实践 》深度学习入门与实践 梯度下降梯度下降法深度学习入门与实践 随机梯度下降随机梯度下降法mini-batch 大小为 1, 就叫做随机梯度下降法 深度学习入门与实践 动量梯度下降法动量梯度下降法动量梯度下降法例子深度学习入门与实践 动量梯度下降法动量梯度下降法细节深度学习入门与实践 RMSpropRMSprop算法深度学习入门与实践RMSprop 算法的全称是 Root Mean Square prop 算法, 它也可以加速梯度下降 。 学习率衰减深度学习入门与实践初期 α 学习率还较大, 学习还是相对较快, 但随着 α 变小, 步伐也会变慢变小, 所以最后曲线会在最小值附近的一小块区域里摆动, 而不是在训练过程中, 大幅度在最小值附近摆动。 所以慢慢减少 α 的本质在于, 在学习初期能承受较大的步伐, 但当开始收敛时, 小一些的学习率能让步伐小一些。  局部最优问题深度学习入门与实践梯度下降法或者某个算法可能困在一个局部最优中, 而不会抵达全局最优。 如果要做图计算一个数字, 比如说这两个维度, 则容易出现有多个不同局部最优的图。