第十八章无约束最优化的梯度方法.docVIP

第十八章 无约束最优化的梯度方法 SKIPIF 1 0 ,目的是在 SKIPIF 1 0 找一点 SKIPIF 1 0 SKIPIF 1 0 称为此无约束最优化问题的全局最优点。然而在实际中，大多数最优化方法只能求到局部最优点，即在 SKIPIF 1 0 中可找到一点 SKIPIF 1 0 使得在 SKIPIF 1 0 的某个邻域中有 SKIPIF 1 0 。但在实际中，可以根据问题的意义来判断求得的局部极小点是否为全局最优点，无约束最优化可以分为两大类: 一类是使用导数的方法，也就是根据目标函数的梯度（一阶导数）有时还要根据hesse矩阵（即二阶导数）所提供的信息而构造出来的方法，称为梯度方法。如：最速下降法，Newton法，共轭梯度法和变尺度法。 另一类是不使用导数的方法，统称为直接方法。前者收敛速度快，但计算复杂（一阶，二阶导数）后者不用导数，适应性强，但收敛速度慢。因此在可以求得目标函数导数信息时，尽可能用前一方法，而若求目标函数导数很困难，或者根本不存在导数时，就用后一种方法。 18.1 最速下降法 最速下降法是求多元函数极值的最古老的数值算法，它直观，简单，计算方便，而且后来的一些新的有效的方法大多数是对它的改进，或受它的启发而得到的。其缺点是收敛速度较慢。 18.1.1 算法思路 SKIPIF 1 0 假定我们已经迭代到第 K次，即已有 SKIPIF 1 0 ，从 SKIPIF 1 0 出发进一步迭代。 SKIPIF 1 0 (图18.1.1 ) 显然应沿下降方向进行 SKIPIF 1 0 ，而下降最快的方向是 SKIPIF 1 0 ，为使目标函数沿此方向下降的最多，沿此 SKIPIF 1 0 方向进行直线搜索，从而得到第k+1次迭代点 SKIPIF 1 0 ，即 SKIPIF 1 0 。其中步长因子 SKIPIF 1 0 满足 SKIPIF 1 0 。 按我们以前的记号，上面两式可记为： SKIPIF 1 0 （18.1.1） 当给定初始点（可任选），就可产生一个序列 SKIPIF 1 0 。在 SKIPIF 1 0 满足一定条件时，此序列 SKIPIF 1 0 必收敛于的 SKIPIF 1 0 极小点 SKIPIF 1 0 。 称以（18.1.1）为迭代公式的算法为最速下降法。 以后为方便，记： SKIPIF 1 0 18.1.2 算法过程 已知目标函数 SKIPIF 1 0 及其梯度 SKIPIF 1 0 ，给定终止准则H及终止限 SKIPIF 1 0 1）选定初始点 SKIPIF 1 0 ，计算 SKIPIF 1 0 2）做直线搜索 SKIPIF 1 0 3）判定终止准则H是否满足，若满足则打印最优解 SKIPIF 1 0 ，终止。否则转2）。 将最速下降法用于具有对称正定矩阵Q的二次函数： SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 而此处即为： SKIPIF 1 0 ，其中 SKIPIF 1 0 即： SKIPIF 1 0 ,从而： SKIPIF 1 0 因此： SKIPIF 1 0 18.1.3 锯齿现象 最速下降法在两个相邻点之间的搜索方向对于正定二次函数是正交的，因而最速下降法向最小点逼近是曲折前进的。这种现象称为锯齿现象。 除最特殊的目标函数和极特殊的初始点外，这种现象都会发生。这是因为最速下降法的下一步搜索方向是 SKIPIF 1 0 ， 从而知： SKIPIF 1 0 。 图18.1.2 这说明其前后两个搜索方向总是垂直的，这就造成了最优步长的最速下降法逼近极小点过程是“之”字形，并且越靠近极小点步长越小，移动越慢，以至在实际运用中在可行的计算时间内得不到需要的结果。 这似乎与“最速下降”的名称矛盾。其实不然，因为梯度是函数局部性质，从局部看，函数在这一点附近下降的很快，然而从整