最优化理论与算法(第三章).docVIP

第三章 牛顿法 §3.1 最速下降法 一、最速下降法 在极小化算法中，若每次都以迭代点处的负梯度方向为搜索方向，产生的算法称为最速下降法，它是无约束最优化算法中最简单、最基本的算法。 算法描述： 给出初始点，允许误差，； 计算，若，Stop 令 ； 由一维搜索确定步长因子，使得 令，，go to 2 . 二、最速下降算法的收敛性 定理3.1 设，则最速下降算法产生的点列的每个聚点均为驻点。 证明：设是的一个聚点，则存在子序列，使得 令，由，知是收敛序列，故有界，且 由定理2.6有 故有 。 定理3.2 设二次连续可微，且，则对任何给定的初始点，最速下降算法或有限终止，或，或。 证明：不妨设，。由定理2.5有 于是 令，由为单调下降序列，则要么 ，要么 。 最速下降算法若采用不精确一维搜索，仍有下列总体收敛性定理。 定理3.3 设，则采用不精确一维搜索得到的点列的每个聚点均为驻点。 证明：直接由定理2.14可得。 注：1 最速下降算法的收敛性也可由前述关于模式算法收敛性结果定理2.7直接获得； 2）最速下降算法的主要优点是方法简单、直观，有好的总体收敛性，但收敛很慢。 三、最速下降算法的收敛速度 1. 先考虑二次函数情形 定理3.4 对极小化问题，其中为对称正定矩阵，，分别为的最大与最小特征值。设是最优解，则最速下降算法的收敛速度至少是线性的，且下面的界成立： ， 其中（为矩阵的条件数）。 证明：由，有。故 其中使 ， 若设 ， 其中。则有 ，而， 利用这些，可知 ， （要求） 设是的特征值，而是对应得标准特征向量（两两正交的单位向量）。 令，则上式可进一步表示为： （将作用到内每一项） （由是标准正交向量组） 对，可适当选取，使。 事实上，只须令 即可求得 从而 。 显然单调上升。由，及，即得。 由 及 即得 . 再由 最后得 . 由，并注意到是正定二次函数（）， 则有。 再由为严格凸二次函数（正定二次型），故当且仅当时，，由此可推得必有 . 再注意到，则有 从而定理第一式得证。 下面再证定理第二式，记，。由是对称正定的，故有 由，则 故有 ， 注意到： 因而有 最后得 （其中）。 这表明：最速下降算法至少具有线性收敛速度。 定理3.5（Kantorovich不等式）设是阶对称正定矩阵，和分别为其最大和最小特征值，则，有。 证明：参见袁亚湘等《最优化理论与方法》第三章附录，略。 以上对特殊形式的二次函数的收敛速度进行讨论，对一般的二次函数 利用Kantorovich不等式可得类似的结论，其证明思路如下：设是极小点，则满足 且可表示为 记 ， 则与仅相差一个常数，它们有相同的最优解，且使用最速下降算法时，每次迭代方向产生的迭代序列均完全相同。现在考察对的极小化，这时最速下降算法的迭代公式为： （这里为最优步长因子） 其中。直接计算可得： （由Kantorovich不等式） 故有： （1） 由（1）即得： （或）。由正定，当且仅当时， 利用一致凸性，可证必有：。这表明：算法产生的点列是整体收敛到的。 由（1）有： （2） 注意到： ， 由（2）有 （3） 再令（），则 ， 注意到 即有： ， 从而有： ，（令） 最后得： ，定理证毕。 当目标函数为非二次函数时，最速下降算法的收敛速度依然是线性的。 定理3.6 设满足定理2.8的假设条件，若最速下降算法产生的点列收敛于，则收敛速度至少是线性的。 §3.2 牛顿法 一、牛顿算法的基本思路 牛顿算法的基本思路是：利用目标函数在当前迭代点处的二次近似的极小点作为的近似极小点。设是当前迭代点，正定，则 记 ，其中， 极小化得 进而得牛顿算法的迭代公式: . 关于牛顿算法的若干评注 牛顿算法可视为椭球范数下的最速下降算法。 事实上，欧氏空间中一般范数下的方向导数定义为： （它显然与范数有关） 显然，的最优解就是函数在处对应于范数的最速下降方向。容易理解，这个解与所取的范数有关。 a 当取欧氏范数（2范数）时，可证是最速下降方向； b 若取椭球范数，最速下降方向则为。事实上， 即 ，有（意味着为方向导数下界） 另一方面，若取时 方向导数达到下界，故是对于椭球范数的最速下降方向。 ② 牛顿算法实际上就是非线性方程组的牛顿迭代法。 由于等价于求解非线性方程组 设是当前迭代点，若，则是方程组的解，否则将在处线性化，得 将上述线性方程组的解作为 的近似解，得 故有 ， 这恰好就是牛顿迭代公式。 二、牛顿法的收敛性 定理3.7 设，充分靠近极小点，而，正定，若进一步假设Hessian矩阵满足Lipschitz条件。则由牛顿法产生的序列收敛于，且具有二阶的收敛速度。 证明：由 及满足Lipschitz条件，可得 故有 （*） 由于，正定，故当充分靠近时，正定，