随机梯度下的平均值收敛.pptxVIP

随机梯度下的平均值收敛平均值收敛定理

随机梯度与期望梯度

梯度下降的收敛条件

样本平均的渐近正态性

鞅中心极限定理的应用

梯度噪声的减弱

大样本下的平均值收敛

随机梯度下平均值的稳态行为目录页ContentsPage随机梯度下的平均值收敛随机梯度与期望梯度随机梯度与期望梯度随机梯度期望梯度1.从训练样本中随机抽取一个小批量数据，计算该小批量数据的梯度，即为随机梯度。2.随机梯度近似于期望梯度，但在大多数情况下，随机梯度与期望梯度并不完全相同。3.随机梯度可有效减少方差，提高训练效率，但可能增加偏差。1.期望梯度是所有可能小批量数据的梯度期望值，即真实的梯度。2.期望梯度度量模型参数空间中的方向，指示参数更新方向以最大程度减少损失。3.计算期望梯度需要遍历所有训练数据，计算复杂度高，因此通常使用随机梯度近似。随机梯度下的平均值收敛梯度下降的收敛条件梯度下降的收敛条件收敛性条件学习率策略1.Lipschitz连续性：如果梯度函数是Lipschitz连续的，则随机梯度下降的收敛速度与目标函数的Lipschitz常数成反比。2.强凸性：如果目标函数是强凸的，则随机梯度下降的收敛速度与强凸常数成正比。3.界定步长：随机梯度下降的步长必须界定，即步长序列必须满足Σtt=1inftyαt=infty和Σtt=1inftyαt2