非线性规划完整版本.pptVIP

定理(K-T条件)例10：利用K－T条件求解下面的非线性规划为解此方程组，可分几种情况考虑：①④③②例11:考虑非线性规划并验证它为凸规划，用K－T条件求解计算目标和约束函数的海赛阵3.二次规划★一般模型思考:能否在此基础上构想基于线性规划求解的方法?例12:求解二次规划解113/13-2/13-4/3914/1309/26-3/13-9/263/132/13133/130132/1302/31-2/3-4/9-26/931/32/312033/131-2/3-12/34/9[26/9]22/311/3-1/31-2/9-4/94/3011-51/3-2/31/32/312051-1221014/31-1[3]-2/3-4/34111-5-2-2212[3]601-12210141-1328111000000求得的结果是：4.罚函数基本思想：将约束与目标组合在一起，化为无约束极值问题求解。★内点法：从可行域的内部逐步逼近最优解。★外点法：从可行域的外部逐步逼近最优解。★外点法的关键是基于（NLP）构造一个新的目标函数P（X，M），称为罚函数。当X是可行点时，罚项为0当X不是可行点时，罚项是很大的整数。对P（X，M）求极小，可采用无约束优化方法，罚项能保证X逐步趋近可行域。一般步骤：①②③例13：求解非线性规划解构造罚函数例14：求解非线性规划解构造罚函数**三、梯度法和共轭梯度法1.梯度法★一般步骤(1)(2)(3)(4)例7:上例中，目标函数是同心圆族。无论初始点选在何处，在该点的负梯度方向总是指向圆心，而圆心就是极小点，故沿负梯度方向搜索一步便可得极小点。但对于一般的函数，若每次迭代均采用负梯度方向，则由于这些方向是彼此正交的，很可能形成开头几步下降较快，但后来便产生直角锯齿状的“拉锯”现象，收敛速度很慢。可以证明，梯度法是线性收敛的。注：3、例子最速下降法存在的问题：2.共轭梯度法⑴基本概念★★这一性质说明采用共轭方向作为搜索方向，对二次函数求极小可以有限步终止。由此可构造二次函数的共轭方向算法。共轭方向算法用于二次函数时均具有二次终止性。由于一般函数在一点附近的性质往往与二次函数很相似，因此共轭方向算法一般也可用于其他非线性函数，并且至少是线性收敛的。⑵一般步骤①③②④⑤例8：四、牛顿法与拟牛顿法1.牛顿法牛顿法的基本思想为了寻找收敛速度快的无约束最优化方法，我们考虑在每次迭代时，用适当的二次函数去近似目标函数f，并用迭代点指向近似二次函数极小点的方向来构造搜索方向，然后精确地求出近似二次函数的极小点，以该极小点作为f的极小点近似值。四、牛顿法与拟牛顿法1.牛顿法⑴牛顿方向牛顿法例子：以上例子说明，牛顿法比最速下降法收敛快。牛顿法⑵一般步骤①③④②当一维搜索是精确的，牛顿法为二阶收敛。缺点：★计算海赛阵的逆的工作量很大。★要求f(X)的二阶导存在且海赛阵是正定的(以保证H的逆阵存在和算法是下降的);改进：构造一个矩阵代替牛顿方向中的，使满足：★正定★只用到f(X)的一阶导信息★随着k的增加，充分接近于称为尺度阵。由于它每次都在变，故称以代替牛顿法中的的算法为变尺度法。2.拟牛顿法★拟牛顿法是尺度阵满足的一类变尺度法;★拟牛顿法一般是超线性收敛的;★DFP是一种著名的拟牛顿法;★当f(X)为二次函数时，D