第一章非线性计划理论.docxVIP

第一章非线性计划理论() 第一章非线性计划理论() 第一章非线性计划理论() 第一章 非线性规划理论 2） 第五节 无拘束非线性规划常用解法 第六节 拘束非线性规划的最优性条件 第七节 拘束非线性规划的常用解法 第五节 无拘束非线性规划常用解法 无拘束极值问题能够表述为 29） 在求解上述问题经常用迭代法，迭代法大概上能够分为两类：一类称为解读法，它会用到函数的一阶或二阶导数；另一类称为直接法，它主要在迭代过程中使用函数值而不是使用导数。一般说来，直接法的收敛速度较慢，只适于变量较少的状况，但是拥有步骤简单，特别是合用于目标函数解读表达式十分复杂或导数难以计算的状况。下边介绍两种基本的解读法。 1、梯度法 最速降落法） 梯度法是一种古老的方法，但因为它的迭代过程简单，使用方便，并且又是理解其余非线性最优化方法的基础，所以特别重要。 假定目标函数 拥有一阶连续的偏导数，它存在极小点 。以 表示极小点的 第 次近似，为了求其第 次近似 ，在 点沿方向 作射线 30） 将 在 处作泰勒睁开得， 此中 是函数 在 点的梯度，能够假定 不然 已经是驻点），对于充足小的 ， 是 的高阶无量小，此时，只需 31） 1/18 即可保证 。所以只需取下一个迭代点 ，就能够 使目标函数值获得改良 降低）。 下边我们想法找寻使 31）左端取最小的 。 因为 32） 此中 是向量 和 的夹角。当 时 ，此时， 且其 值最小，这个方向是负梯度方向，它是函数值减小最快的方向，梯度法就是采纳负梯度方向为搜寻方向。 为了获得下一个近似极小点，在选定了搜寻方向以后，还要确立步长。 选用步长的一种方法是经过试算，即先取一个 考证下式能否知足： 33） 若知足，就能够取这个 进行迭代，若不知足，就减小 使上式建立。因为采纳了负梯度方向为搜寻方向，知足 33）的 老是存在的。 另一种方法是： 34） 这能够经过在负梯度方向的一维搜寻来确立使 最小的 ，这样获得的步长称为最正确步 长，有时也称采纳最正确步长时的梯度法为最速降落法。 下边是梯度法求函数 的极小点的步骤： 1）给定初始点 和同意的偏差 ，令 ； 2）计算 和 ，若 ，停止迭代，得近似极小点 和近 似极小值 ；不然，转入下一步； 3）作一维搜寻： 并计算 ，而后令 ，转回第 2）步。 现设 拥有二阶连续偏导数，将 在 作泰勒睁开： 对于 求导数，并令其等于零，即可获得近似最正确步长的计算公式： 35） 有时将搜寻方向 的规格化为 1，即取 2/18 36） 此时式 35）就变成 37） 例2 用梯度法求函数  的极小点，取同意偏差  。 解：取初始点  ，  , 其海赛矩阵为 ， ＝ ， ， ， ， ， ， ， 故 为近似极小点，此时 。该问题的精准解是 。 3/18 需要说明的是，最速降落法往常不过在考虑的某点的邻近才拥有迅速降落的的性质，当凑近于最长处时，收敛速度其实不理想。 2、牛顿法 第一考虑正定二次型 ， 38） 此处 是一个 正定矩阵， ， 为常数。 假定该函数的极小点是 ，则必有 进而 。此外，对于随意点 ，函数在该点的梯度 ， 消去 获得 ，解出 。 这说明，对于正定二次函数，从随意近似点 出发，沿 方向搜寻，以 1为步 长，迭代一步即可达到极小点。这类方法即为牛顿法。 此刻考虑一般的 元实函数 ，假定它有二阶连续的偏导数， 为其极小点的某 一个近似点，在这个点邻近取 的二阶泰勒多项式迫近： 39） 此中 。 由39）求导数，注意到这个近似函数的极小点应知足一阶必需条件，即 设 的逆矩阵存在，可得 40） 因为式子 39）是一个近似式，所以从 40）解得的是一个近似极小点。为了求得 的极 小点，能够 为搜寻方向 牛顿方向），按下述公式进行迭代： 41） 4/18 这就是所谓的阻尼牛顿法 广义牛顿法），可用于求解非正定二次函数的极小点。 牛顿法的长处是收敛速度快，弊端是有时没法进行下去需要采纳改良举措。当维数较高时， 计算 的工作量很大。为了战胜梯度法收敛速度慢及牛顿法有时无效和维数较高 时计算工作量大的弊端，许多学者提出了更为使用的其余算法，如共轭梯度法、变尺法等。 第六节 拘束非线性规划的最优性条件 拘束极值问题能够表述为 5） 在大部分状况下，实质问题都遇到某些条件的限制，这些限制条件经常给寻优工作带来很大的困难。下边第一说明解的最优性条件，而后研究几种基本的解法。 1、可行降落方向 1）起作用拘束 假定 是问题 5）的一个可行解，即它知足全部拘束条件。对于某一个拘束条件 来说， 知足有两种状况：一是 ，这时 不在由这个拘束条件形 成的可行域的界限 上，我们称这一拘束为 点的不起作用的拘束 或无效拘束） ；另一种状况是 ，这时 处于由这个拘束条件形成的可行域的界限 上，我们