(9.8)--9.8 深度学习引论(三).pptVIP

IntroductiontoDeepLearningIII深度学习引论（三）

CHAPTERFIVE训练策略TrainingStrategy

困难与挑战五、训练策略局部最小陷阱收敛速度缓慢梯度下降不会保证寻找到全局最优点不同的初始化参数不同的局部最小值???

参数初始化五、训练策略正态分布初始化：使用一个高斯分布进行初始化????使得神经元权重在初始化时更具多样性

优化策略五、训练策略mini-batchSGD(StochasticGradientDecent)小批量随机梯度下降法，每次选出一小批样本更新权重…??计算损失、计算梯度梯度更新????……训练数据一轮迭代计算速度快、更容易优化相比使用单个样本或全部样本更新梯度，收敛更加稳定随机变化损失函数防止陷入局部最小

动态学习率五、训练策略???????逐渐减小学习率提升收敛的稳定性

优化算法五、训练策略动量法——momentum保留历史梯度的影响减小梯度震荡???计算速度更新：?更新神经网络参数：?NAG动量：使用动量项估计下一步的大概位置，在该位置求取梯度??

优化算法五、训练策略学习率自适应法——Adagrad??计算当前梯度：?累积平方梯度：??梯度更新偏差：?参数更新：???独立自适应学习率减小梯度震荡收敛效率更高独立学习率

优化算法五、训练策略学习率自适应法——RMSProp?