优化决策理论与方法.pptVIP

约束非线性规划—几个概念积极(active)约束：设x0是COP问题的一个可行解，则它必须满足所有约束条件。对于gi(x0)?0，或者等号成立，或者大于号成立。称等号成立的约束为积极约束(有效约束)，此时，x0处于该约束条件形成的可行域边界上；称大于号成立的约束为非积极(inactive)约束(无效约束)，此时，x0不在该约束条件形成的可行域边界上。显然所有hj(x0)约束均是积极约束。记J={j|gj(x0)=0?hj(x0)=0}，称为积极约束指标集。本文档共86页；当前第30页；编辑于星期日\9点37分约束非线性规划—几个概念可行方向。设x0为COP问题的任一可行解，对某一方向d来说，若???00使得对于任意??[0,?0]，均有x0+?d?S，称d为x0的一个可行方向。显然若d满足dT?gi(x)?0，dT?hj(x)=0，则d一定是可行方向。（可用一阶Taylor公式分析）。下降方向。设x0?S，对某一方向d来说，若???00使得对于任意??[0,?0]，均有f(x0+?d)f(x0)，则称d为x0点的一个下降方向。由f(x0+?d)=f(x0)+?(?f(x0))Td+o(?)可知：若d满足dT?f(x0)0，有f(x0+?d)f(x0)，则d一定是下降方向。可行下降方向。若x0的某一方向d既是可行方向又是下降方向则称其为可行下降方向。这个方向就是我们从x0出发寻求最优解的搜索方向！本文档共86页；当前第31页；编辑于星期日\9点37分约束非线性规划—几个概念例：minf(x)=x1+x2S.t.g(x)=1-x12-x22?0图描述了该问题的相关概念。x1x2本文档共86页；当前第32页；编辑于星期日\9点37分约束非线性规划—极小值存在条件一阶必要条件几何特征：若x*是COP问题的局部极小点且函数f(x),gi(x),hj(x)在x*处可微，则dT?f(x*)?0。d为x*的任意可行方向。f(x*+?d)=f(x*)+?(?f(x*))Td+o(?)代数特征(KKT定理)：若x*是COP问题的局部极小点且函数f(x),gi(x),hj(x)在x*处可微，则存在实数?i?0(i?I),?j?R(j??)，使得：?f(x*)=?i?gi(x*)?i+?j?hj(x*)?j；gi(x*)?i=0；?i?0，?i?I若x*满足KKT条件，则称x*为COP问题的一个KKT点，?i,?j称为x*处的拉格朗日乘子。本文档共86页；当前第33页；编辑于星期日\9点37分约束非线性规划—极小值存在条件一阶充分条件设x*?S，若函数f(x),gi(x),hj(x)在x*处可微，且对于x*的任意可行方向d，有dT?f(x*)0，则x*为COP问题的一个严格局部极小点。(凸规划问题)设f(x)为凸函数，gi(x)为凹函数，hj(x)为线性函数。对于x*?S，若函数f(x),gi(x)在x*处可微，且KKT条件成立，则x*为COP问题的全局最小点。本文档共86页；当前第34页；编辑于星期日\9点37分约束非线性规划—极小值存在条件二阶必要条件设x*是COP问题的局部极小点且满足KKT条件。若函数f(x),gi(x),hj(x)在x*处二阶可微，则必有：dT?xx2L(x*,?*,?*)d?0其中，L(x,?,?)=f(x)-g(x)T?-h(x)T?,g(x),h(x)分别为由gi(x)和hj(x)构成的向量值函数，?,?分别为对应于g(x)和h(x)的拉格朗日乘子向量。二阶充分条件设x*是COP问题的KKT点。?*,?*分别为对应于g(x)和h(x)的拉格朗日乘子向量，且函数f(x),gi(x),hj(x)在x*处二阶可微，若dT?xx2L(x*,?*,?*)d0,则x*为COP问题的一个严格局部极小点。本文档共86页；当前第35页；编辑于星期日\9点37分约束非线性规划—极小值存在条件例：minf(x)=x12+x22S.t.x1+x2?4x1,x2?0解：g1(x)=x1+x2-4?0;g2(x)=x1?0;g3(x)=x2?0?f(x)=[2x1,2x2]T,?g1(x)=[1,1]T,?g2(x)=[1,0]T,?g3(x)=[0,1]T,得到：2x1=?1+?22x2=?1+?3又(x1+x2-4)?1=0；x1?2=0；x2?3=0；?i?0若?1=0，则x1=x2=0，与题意不符；若?10，则x1+x2-4=0，x10,x20。因此有?2=?3=0，所以x1=x2=?1/2，得x1=x2=2，x*=[2,2]T为该问