第三次梯度和共轭梯度法.pptVIP

最速下降方向反映了目标函数的一种局部性质。它只是局部目标函数值下降最快的方向，但从全局看，由于锯齿现象的影响，即使向着极小点移动不太大的距离，也要经历不少的弯路，因此使收敛速率大大减慢。从全局看，它的收敛是比较慢的。因此，最速下降法一般适用于计算过程的前期迭代或作为检查步骤。 收敛性定理：设 ，水平集 有界，则最速下降法或在有限步迭代后停止；或者得点列 ，它的任何极限点都是 的驻点。 证明：P68。 * 使用导数的最优化方法 ——梯度法和共轭梯度法 无约束最优化问题 2. 梯度法 3. 共轭梯度法 本章研究无约束最优化问题。其算法大致分为两类： 1：在计算过程中要用导目标函数的导数，本章介绍； 2：只用到目标函数值，不必计算导数，通常称为直接法。 本章主要教授： 一. 无约束最优化问题的最速下降法 人们在处理这类问题时，总希望从某一点出发，选择一个目标函数值下降最快的方向，以利于尽快达到极小点。1847年，Cauchy提出了最速下降法。下面我们先来讨论怎样选择最速下降方向。 解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。 梯度法（最速下降法） 迭代公式： 如何选择下降最快的方向？ 梯度法（最速下降法）： 梯度法算法步骤： 解： 最速下降法的收敛性 性质. 最速下降法的锯齿现象 在极小点附近，目标函数可以用二次函数近似，其等值面近似于椭圆面，长轴和短轴分别位于对应最小特征值和最大特征值得特征向量的方向，其大小与特征值的平方根成反比。 二、共轭梯度法 1. 共轭方向和共轭方向法 共轭是正交的推广。 我们以正定二次函数为例，来观察两个方向关于矩阵A共轭的几何意义： 共轭方向法 2. 共轭梯度法 如何选取一组共轭方向？ 以下分析算法的具体步骤。