优化决策理论与方法.ppt

上面例题介绍了通过求解KKT方程获得问题解的方法，但KKT方程并不总是很好求解。下面介绍几种约束优化的求解方法：可行方向法、序列无约束化法和SQP法。可行方向法的应用条件：要求所有约束均为线性约束（称为线性约束的优化问题，LCO）。可行方向法的基本思想：当某个可行方向同时也是目标函数的下降方向时，沿此方向移动一定会在满足可行性的情况下改进迭代点的目标函数值。约束非线性规划—可行方向法01x102x2约束非线性规划—可行方向法LCO问题：Minf(x)S.t.aiTx?bi,i?IajTx=bj,j??设x0是LCO的一个可行解，若d是可行域在x0点的可行方向，则d满足AI(x0)d?0(I(x0)={i|aiTx0=bi,i?I})，A?d=0。设x0是LCO的一个可行解，若d是可行域在x0点的下降方向，则d满足dT?f(x0)0。约束非线性规划—可行方向法约束非线性规划—可行方向法求解约束优化的一类重要方法是用一个无约束优化问题的序列逼近约束优化问题，通过无约束优化问题的最优解序列逼近约束优化问题的最优解。01基本思想：将约束条件通过某种转换与目标函数合并形成一个无约束优化问题。这种转换隐含着某种惩罚，即x偏离约束条件越远，受到的惩罚越大。因此也将此类方法称为罚函数法，所形成的无约束优化函数成为罚函数。02约束非线性规划—序列无约束化法二次罚函数法：约束非线性规划—序列无约束化法罚函数：其中(gi)-=max{0,-gi}，?称为罚参数，且当?→0时，Q(x,?)的极小值趋于f(x)的极小值。约束非线性规划—序列无约束化法对数障碍函数法：约束非线性规划—序列无约束化法障碍函数：01其中?称为障碍参数，且当?→0时，P(x,?)的极小值趋于f(x)的极小值。02该方法的适用性：COP问题仅包含不等式约束函数，且可行域存在内点。即S0={x|g(x)0}≠?03例：min{f=x/2|x?1}解：构造对数障碍函数P(x,?)=x/2-?ln(x-1)P’x=1/2-?/(x-1)=0，得x?*=1+2?，P*=1/2+?-?ln2?当?→0时得x*=1，f*=1/2约束非线性规划—序列无约束化法二次规划—标准型若有约束非线性规划的目标函数是决策变量x的二次函数且所有约束均为线性约束，称此类非线性规划问题为二次规划(QuadraticProgramming,QP)问题。其标准型为：二次规划—标准型二次规划—极小点存在条件约束非线性规划—SQP法对于非线性约束优化(COP)问题，若x*是COP问题的一个局部最优解，则它对应一个纯等式约束优化问题因此如果事先知道积极约束指标集，那么带有不等式约束优化问题就可以转化为纯等式约束优化问题，并可用准牛顿法求解，这就是逐次二次规划(SequentialQuadraticProgramming，SQP)法。基本思想：在迭代点处构造一个二次规划子问题，近似原来的约束优化问题；然后通过求解该二次规划子问题获得约束优化问题的一个改进迭代点；不断重复此过程，直到求出满足一定要求的迭代点。约束非线性规划—SQP法约束非线性规划—SQP法对于等式约束优化问题Minf(x)S.t.h(x)=0拉格朗日函数记为L(x,?)=f(x)-?Th(x)则?L(x,?)=(?f(x)-?h(x)?,-h(x))T=0，显然问题的最优解(x*,?*)满足此式。设(xk,?k)是第k次迭代结果，根据牛顿法，有：约束非线性规划—SQP法上述迭代过程等价于如下的二次规划的迭代。设给定迭代点(xk,?k)，则约束非线性规划—Matlab函数应用约束非线性规划—Matlab函数应用约束非线性规划—Matlab函数应用x=[-9.54741.0474]fval=0.0236iterations:8algorithm:medium-scale:SQP,Quasi-Newton,line-search运行结果：调用有约束非线性规划函数x0=[-1,1];%Startingguessoptions=optimset(LargeScale,off);[x,fval]=fmincon(@objfun,x0,[],[],[],[],[],[],@confun,options)约束非线性规划—Matlab函数应用二次规划—Matlab函数应用首先要将目标函数转换成二次规划标准型，从而得到H和f两个矩阵。调用quadprog并根据需要指定初始搜索点以及其他向量、矩阵。x0=[x1,x2,…,xn];A;b;Aeq;b