深度学习及其优化方法(共51张课件).pptxVIP

深度学习及其优化方法;Outline;深度学习的概念;DL训练过程;5/25;6/25;自动编码器;稀疏自动编码器;RBM;RBM;DBN;CNN;LossFunction一般形式;LossFunction一般形式;数学概念;数学概念;数学概念;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;优化方法;此时，这个RMS就可以作为学习率的一个约束：

但克服了最速下降法收敛慢的缺点；

其中?x为列向量，A是n阶对称矩阵，b是n维列向量，c是常数。

进而可以求得出近似函数的全局最小值，然后将当前的最小值设定近似函数的最小值；

SGDwithmomentum

3、ConjugateGradients

SGD是最速梯度下降法的变种，每次只使用一个样本，迭代一次计算量为n2，当m很大的时候，随机梯度下降迭代一次的速度要远高于梯度下降：

对从1到进行一个递推形成一个约束项regularizer

因此，加上nesterov项后，梯度在大的跳跃后，进行计算对当前梯度进行校正。

将当前的最小值设定近似函数的最小值(或者乘以步长)。

RMSprop可以算作Adadelta的一个特例：

1、自动编码器（AutoEncoder）

此时Adadelta已经不用依赖于全局学习率了

对从1到进行一个递推形成一个约束项regularizer

、是对、的校正，这样可以近似为对期望的无偏估计。

对最大对数似然函数求导，就可以得到L最大时对应的参数W了。;优化方法-Momentum;优化方法-Momentum;优化方法-Nesterov;优化方法-Nesterov;优化方法-Adagrad;优化方法-Adagrad;优化方法-Adadelta;优化方法-Adadelta;优化方法-RMSprop;优化方法-RMSprop;优化方法-Adam;优化方法-Adam;优化方法-Adam;优化方法-Adamax;优化方法-Nadam;优化方法-Nadam;优化方法-Visualizationofalgorithms;如上图，其实就是限制每次得到的表达code尽量稀疏。

它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；

这个函数由m个实函数组成:

前期较小时候，regularizer较大，能够放大梯度；

当f(x)是下列形式：

不断在训练集中重复以上步骤，直到收敛。

此时Adadelta已经不用依赖于全局学习率了

选择n个训练样本（nm，m为总训练集样本数）

5、Mini-batchGradientDescent

在梯度改变方向的时候，能够减???更新；

如上图，其实就是限制每次得到的表达code尽量稀疏。

3、Jacobian矩阵

梯度下降需要把m个样本全部带入计算，迭代一次计算量为m*n2;优化方法-建议