Optimizer经典教程合集.pdfVIP

Optimizer ： tf.train.GradientDescentOptimizer tf.train.AdadeltaOptimizer tf.train.AdagradOptimizer tf.train.AdagradDAOptimizer tf.train.MomentumOptimizer tf.train.AdamOptimizer tf.train.FtrlOptimizer tf.train.ProximalGradientDescentOptimizer tf.train.ProximalAdagradOptimizer tf.train.RMSPropOptimizer 各种优化器对比： 标准梯度下降法： 标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值 随机梯度下降法： 随机梯度下降随机抽取一个样本来计算误差，然后更新权值 批量梯度下降法： 批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随 机选取100个样本作为一个batch ），然后计算这个batch的总误差，根据总误差来更新权 值。 分区 新分区 1 的第 1 页 W ：要训练的参数 J(W) ：代价函数 ∇WJ(W) ：代价函数的梯度 η ：