最优化的数理结构.ppt

对约束等式 求二阶全微分，得到： 代入上式，有： 将一阶条件 代入，得： 如果我们用下面的拉格朗日函数的偏导数代入 则 写出矩阵的形式： 其中 由微积分的知识，我们知道，如果在点 处有 则函数 取得极大值；如果在点 处有 ，则函数 取得极小值。 将 代入上式，得： 显然，等式右边括号外边的部分为正，所以 的正负取决于括号部分的符号。 因此我们就把 称为加边的海赛行列式，就像是由无约束极值问题的海赛行列式再加了两条边。 当 时，函数在点 处取得极大值，也即 ，这就是约束极大值问题二阶充分条件；同样，当 ， ，函数在点 处取得极小值，此为约束极小值问题的二阶充分条件。 凹规划 前面的讨论都是通过微分法，分析最优解在一个小的邻域内应满足的条件，所以我们说这样求得的解只是在这个小的邻域内成立的，是局部的，因此我们称之为局部解(Local Optima)。在整个定义域内，可能存在很多个满足这样性质的点，因此我们需要比较各个局部解的目标函数值的大小，才能确定哪个是整个规划问题的最优解，我们称此解为全局解(Global Optima)。 通过我们对所求解经济问题的现实含义，对目标函数及约束函数进行凹凸性的假设，我们可以避免上述两个问题，保证一阶必要条件也是充分条件，同时所求的局部解就是规划问题的全局解。这是凹规划所讲的内容。 凸集（Convex Set）： 对集合S，其中的任意两点 ，如果有 则称集合S为凸集。 凸函数(Convex Function)： 对函数 ，如果定义域S（凸集）中的任何两点 , 如果有 则称函数为凸函数。 这个性质可以用如下的式子来表达： 即在同一个点用切线上的点估计的函数值小于曲线上的值。 如果在点 处函数泰勒展开： 则上述性质也等价于在点 的函数的二阶导数为非负。由于点 的一般性，我们可以得到凸函数的微分性质： 凹函数（Concave Function）：与凸函数相反。 只要对目标函数、约束函数的凹凸性作适当地假定，前面求解最优化问题过程中的一阶必要条件（库恩－塔克条件）所确定的解就是规划问题的解，即一阶必要条件就是充分条件；同时所求得的局部解就是全局解。我们用一个定理来总结上述性质： 比如说, 对于非线性规划问题： 如果目标函数 为凹函数，约束函数 为凸函数，且都可微，点 为由库恩－塔克条件所确定的解，则 就是规划问题的整体最优解。证明过程省略。 拟凹函数（Quasi-concave Function）： 函数 ，对定义域S（凸集）上任意两点 ，如 ， 则我们称函数为拟凹函数。 最优化的数理结构 最优化的一阶条件 二阶条件 凹规划 比较静态 包络定理 最优化的一阶条件 无约束极值 一维情况下: 若 ，则可以取 ，使得 ，即通过点 的移动，可以使目标函数值增加；若 ，则可以取 ，从而 ，目标函数值还可以继续增加。因此，当 取得极值，即目标函数值不再增加时，上述情形不可能发生，即有 。 多维情形下： 梯度向量 等值面 在点 处指向值增加（变化）的法方向，也就是在点 处 值增加最快的方向。 一般的，约束由等式 表示，点 的变化向量 是受限制的，具体的，将约束等式全微分， 或者 等式约束极值的拉格朗日求解法： 拉格朗日函数： 其中 是n维向量，是参数，我们称之为拉格朗日乘子 非线性规划问题的求解：库恩－塔克条件 第一步：作拉格朗日函数 第二步：求一阶条件 这样的关系，我们称之为互补松弛条件。 把上面两个式子结合起来，就是非线性规划问题在最优解处的一阶必要条件，我们称之为库恩－塔克条件（Kuhn-Tucker Condition）。 与等式约束极值问题的一阶必要条件相比，库恩－塔克条件是用不等式形式出现的，因此给求解带来了很大的麻烦。下