深度学习及其优化方法.pptVIP

优化方法*/255、Mini-batchGradientDescent其思想是：SGD就是每一次迭代计算mini-batch的梯度，然后对参数进行更新；其中，是学习率，是梯度，SGD完全依赖于当前batch的梯度，可理解为允许当前batch的梯度多大程度影响参数更新。第30页，共51页，星期日，2025年，2月5日优化方法*/255、Mini-batchGradientDescent面临的挑战：learningrate选取比较困难对于稀疏数据或者特征，有时我们可能想更新快一些；对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了；SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点

第31页，共51页，星期日，2025年，2月5日优化方法-Momentum*/25momentum是模拟物理里动量的概念，积累之前的动量来替代真正的梯度：其中，是动量因子。

第32页，共51页，星期日，2025年，2月5日优化方法-Momentum*/25

SGDwithoutmomentumSGDwithmomentum第33页，共51页，星期日，2025年，2月5日优化方法-Momentum*/25特点：下降初期时，使用上一次参数更新，下降方向一致，乘上较大的能够进行很好的加速；下降中后期时，在局部最小值来回震荡的时候，，使得更新幅度增大，跳出陷阱；在梯度改变方向的时候，能够减少更新；总之，momentum项能够在相关方向加速SGD，抑制振荡，从而加快收敛。

第34页，共51页，星期日，2025年，2月5日优化方法-Nesterov*/25nesterov项在梯度更新时做一个校正，避免前进太快，同时提高灵敏度：并没有直接改变当前梯度，所以Nesterov的改进就是让之前的动量直接影响当前的梯度。即：因此，加上nesterov项后，梯度在大的跳跃后，进行计算对当前梯度进行校正。

第35页，共51页，星期日，2025年，2月5日优化方法-Nesterov*/25momentum首先计算一个梯度(短的蓝色向量)，然后在加速更新梯度的方向进行一个大的跳跃(长的蓝色向量)，nesterov项首先在之前加速的梯度方向进行一个大的跳跃(棕色向量)，计算梯度然后进行校正(绿色梯向量)：momentum项和nesterov项都是为了使梯度更新更加灵活，对不同情况有针对性。第36页，共51页，星期日，2025年，2月5日深度学习及其优化方法第1页，共51页，星期日，2025年，2月5日Outline深度学习基本介绍LossFunction一般形式及数学概念深度学习梯度优化方法深度学习优化方法*/25第2页，共51页，星期日，2025年，2月5日深度学习的概念*/25什么是deeplearning?深度学习：一种基于无监督特征学习和特征层次结构的学习方法。本质：通过构建多隐层的模型和海量训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。含多隐层的多层感知器就是一种深度学习结构。第3页，共51页，星期日，2025年，2月5日DL训练过程*/25深度学习的基本思想：对于DeepLearning，需要自动地学习特征，假设有一堆输入I，输出是O，设计一个系统S（有n层），形象地表示为：I=S1=S2=.....=Sn=O，通过调整系统中参数，使得它的输出仍然是输入I，那么就可以自动地获取得到输入I的一系列层次特征，即S1，...,Sn。用自下而上的无监督学习1）逐层构建单层神经元。2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。第4页，共51页，星期日，2025年，2月5日*/25第二步：自顶向下的监督学习??????这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（如，SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。DL训练过程第5页，共51页，星期日，2025年，2月5日*/25深度学习的具体模型及方法：1、自动编码器（AutoEncoder）2、稀疏自动编码器(SparseAutoEncoder)3、限制波尔兹曼机（RestrictedBoltzmannMachine）4、深信度网络（DeepBeliefNetworks）5、卷积神经网络（ConvolutionalNeuralNetwor