人民大2024孙怡帆 数据科学优化方法 PPT第4章 负梯度方法.pptxVIP

数据科学优化方法OptimizationMethodinDataScience统计学院孙怡帆

引入从本章开始，我们将讨论求解无约束最优化问题的基本最优化方法，内容包括方法的思想、计算步骤、性质、数值表现等.主要内容12本章介绍最基本的一类最优化方法——负梯度方法，包括梯度下降方法、最速下降方法以及各种变体和改进.这一类方法仅需利用目标函数的一阶导数信息，是目前深度学习领域最常用的一类优化方法.

第4章负梯度方法4.1梯度下降方法4.2最速下降方法4.3梯度下降方法的变体4.4梯度下降方法的改进4.5数值实验

第4章负梯度方法4.1梯度下降方法4.2最速下降方法4.3梯度下降方法的变体4.4梯度下降方法的改进4.5数值实验

梯度下降方法？梯度下降(GradientDescent,GD)方法以目标函数在当前迭代点处的负梯度为迭代方向，即令，其原因在于在所有迭代方向中，负梯度方向是使目标函数下降最快的方向.

梯度下降方法由泰勒定理可知，对任意迭代方向和步长均有显然，若满足，则，故是下降方向.