运筹学-约束最优化方法.pdf

第五章 约束最优化方法  最优性条件  惩罚函数法（包括乘子法）  可行方向法  约束变尺度法 §5.1 约束最优化问题的最优性条件  问 题 在求解问题之前,我们先讨论其最优解的必 要条件,充分条件和充要条件. 这些条件是最优化理论的重要组成部分,对 讨论算法起着关键的作用. 有的算法甚至可以直接用来求解问题. 2 5.1.1等式约束问题的最优性条件 问题  考虑n=2,l=1 的情况.c (x)=0表示二维平面的一 1 条曲线.最优点满足约束,必落在这一曲线上.  在最优点处作曲线的切线.  考虑f (x)在最优点处的负梯度方向 3 等式约束问题的最优性条件 -g* x* c (x)=0 1 f (x)=f * 若–g *与上述切线不垂直,则可以在曲线上移动充 分小的距离,使f 的函数值下降. 这与”最优点”矛盾.因此梯度方向与切线垂直. 或,f (x)在最优点处的梯度方向就是c (x)=0在该点 1 处的法向. 而c (x)=0在该点处的法线方向为 1 因此,存在数l ,使得 1 4 等式约束问题 的最优性条件 如果n=3,l=2,约束曲线在三维 空间中曲面c (x)=0和曲面 1 c (x)=0的交线. 2 同样可以说明(-)g *与曲线的切线垂直. 因此,曲面在x *处的法向量 与 梯度向量g *共面. 存在数l , l ,使得 1 2 5 等式约束问题的一阶必要条件  定理1.1.1(一阶必要条件)  若(i)x *是上述问题的局部最优解;  (ii)f (x)与c (x)(i=1,2,···,l)在x *的某邻域内连续可微; i (iii) 线性无关 则存在一组不全为零的数 使得 6 等式约束问题的一阶必要条件  对于上述问题,引入n+l元的Lagrange 函数 T T 其中c(x)=(c (x),···,c (x)) ,l=(l ,···,l ) . 1 l 1 l 称l为Lagrange乘子向量. Lagrange函数的梯度为