第一章 非线性计划理论(2).docVIP

第一章 非线性规划理论（2） 第五节 无约束非线性规划常用解法 第六节 约束非线性规划的最优性条件 第七节 约束非线性规划的常用解法 第五节 无约束非线性规划常用解法 无约束极值问题可以表述为 （29） 在求解上述问题时常用迭代法，迭代法大体上可以分为两类：一类称为解析法，它会用到函数的一阶或二阶导数；另一类称为直接法，它主要在迭代过程中使用函数值而不是使用导数。一般说来，直接法的收敛速度较慢，只适于变量较少的情况，但是具有步骤简单，特别是适用于目标函数解析表达式十分复杂或导数难以计算的情况。下面介绍两种基本的解析法。 1、梯度法（最速下降法） 梯度法是一种古老的方法，但由于它的迭代过程简单，使用方便，而且又是理解其它非线性最优化方法的基础，因此非常重要。 假设目标函数具有一阶连续的偏导数，它存在极小点。以表示极小点的第次近似，为了求其第次近似，在点沿方向作射线 （30） 将在处作泰勒展开得， 其中 是函数在点的梯度，可以假设（否则已是驻点），对于充分小的，是的高阶无穷小，此时，只要 （31） 即可保证。因此只要取下一个迭代点，就可以使目标函数值得到改善（降低）。 下面我们设法寻找使（31）左端取最小的。 因为 （32） 其中是向量和的夹角。当时，此时，且其值最小，这个方向是负梯度方向，它是函数值减小最快的方向，梯度法就是采用负梯度方向为搜索方向。 为了得到下一个近似极小点，在选定了搜索方向之后，还要确定步长。 选取步长的一种方法是通过试算，即先取一个验证下式是否满足： （33） 若满足，就可以取这个进行迭代，若不满足，就减小使上式成立。由于采用了负梯度方向为搜索方向，满足（33）的总是存在的。 另一种方法是： （34） 这可以通过在负梯度方向的一维搜索来确定使最小的，这样得到的步长称为最佳步长，有时也称采用最佳步长时的梯度法为最速下降法。 下面是梯度法求函数的极小点的步骤： （1）给定初始点和允许的误差，令； （2）计算和，若，停止迭代，得近似极小点和近似极小值；否则，转入下一步； （3）作一维搜索： 并计算，然后令，转回第（2）步。 现设具有二阶连续偏导数，将在作泰勒展开： 关于求导数，并令其等于零，即可得到近似最佳步长的计算公式： （35） 有时将搜索方向的规格化为1，即取 （36） 此时式（35）就变为 （37） 例2 用梯度法求函数的极小点，取允许误差。 解：取初始点，, 其海赛矩阵为 ， ＝0.1124 ， ， ，， ，， ， 故为近似极小点，此时。该问题的精确解是。 需要说明的是，最速下降法通常只是在考虑的某点的附近才具有快速下降的的性质，当接近于最优点时，收敛速度并不理想。 2、牛顿法 首先考虑正定二次型 ， （38） 此处是一个正定矩阵，，为常数。 假定该函数的极小点是，则必有 从而。另外，对于任意点，函数在该点的梯度，消去得到，解出 。 这说明，对于正定二次函数，从任意近似点出发，沿方向搜索，以1为步长，迭代一步即可达到极小点。这种方法即为牛顿法。 现在考虑一般的元实函数，假设它有二阶连续的偏导数，为其极小点的某一个近似点，在这个点附近取的二阶泰勒多项式逼近： （39） 其中。 由（39）求导数，注意到这个近似函数的极小点应满足一阶必要条件，即 设的逆矩阵存在，可得 （40） 由于式子（39）是一个近似式，所以从（40）解得的是一个近似极小点。为了求得的极小点，可以为搜索方向（牛顿方向），按下述公式进行迭代： （41） 这就是所谓的阻尼牛顿法（广义牛顿法），可用于求解非正定二次函数的极小点。 牛顿法的优点是收敛速度快，缺点是有时无法进行下去需要采取改进措施。当维数较高时，计算的工作量很大。为了克服梯度法收敛速度慢及牛顿法有时失效和维数较高时计算工作量大的缺点，不少学者提出了更加使用的其它算法，如共轭梯度法、变尺法等。 第六节 约束非线性规划的最优性条件 约束极值问题可以表述为