约束最优化方法.ppt

3罚函数法1.罚函数概念（续）图示3罚函数法罚函数法：（fgh）约束最优化方法约束最优化方法问题minf(x)s.t.g(x)≤0分量形式略h(x)=0约束集S={x|g(x)≤0,h(x)=0}1Kuhn-Tucker条件一、等式约束性问题的最优性条件：考虑minf(x)s.t.h(x)=0回顾高等数学中所学的条件极值：问题求z=f(x,y)极值minf(x,y)在ф(x,y)=0的条件下。S.t.ф(x,y)=0引入Lagrange乘子：λLagrange函数L(x,y;λ)=f(x,y)+λф(x,y)(fgh)(fh)即一、等式约束性问题的最优性条件：(续)若(x*,y*)是条件极值，则存在λ*，使fx(x*,y*)+λ*фx(x*,y*)=0fy(x*,y*)+λ*фy(x*,y*)=0Ф(x*,y*)=0推广到多元情况，可得到对于(fh)的情况：minf(x)s.t.hj(x)=0j=1,2,…,l若x*是(fh)的l.opt.,则存在υ*∈Rl使矩阵形式：分量形式：一、等式约束性问题的最优性条件：(续)几何意义是明显的：考虑一个约束的情况：最优性条件即：-▽f(ㄡ)ㄡ▽h(ㄡ)h(x)-▽f(x*)▽h(x*)这里x*---l.opt.▽f(x*)与▽h(x*)共线，而ㄡ非l.opt.▽f(ㄡ)与▽h(ㄡ)不共线。二、不等式约束问题的Khun-Tucker条件：考虑问题minf(x)s.t.gi(x)≤0i=1,2,…,m设x*∈S={x|gi(x)≤0i=1,2,…,m}令I={i|gi(x*)=0i=1,2,…,m}称I为x*点处的起作用集（紧约束集）。如果x*是l.opt.,对每一个约束函数来说，只有当它是起作用约束时，才产生影响，如：(fg)g2(x)=0x*g1(x)=0g1(x*)=0,g1为起作用约束Kuhn-Tucker条件二、不等式约束问题的Khun-Tucker条件：（续）特别有如下特征：如图在x*：▽f(x*)+u*▽g(x*)=0u*0要使函数值下降，必须使g(x)值变大，则在ㄡ点使f(x)下降的方向（-▽f(ㄡ)方向）指向约束集合内部，因此ㄡ不是l.opt.。▽g(ㄡ)-▽f(ㄡ)X*-▽f(x*)▽g(x*)不等式约束问题的Khun-Tucker条件：（续）定理（最优性必要条件）：（K-T条件）问题(fg),设S={x|gi(x)≤0},x*∈S,I为x*点处的起作用集，设f,gi(x),i∈I在x*点可微，gi(x),iI在x*点连续。向量组{▽gi(x*),i∈I}线性无关。如果x*----l.opt.那么，u*i≥0,i∈I使二、不等式约束问题的Khun-Tucker条件：（续）123412g1=0g2=0g4=0x1g3=0x2x*▽g2(x*)▽g1(x*)-▽f(x*)(3,2)T不等式约束问题的Khun-Tucker条件：（续）1用K-T