5 优化方法幻灯片.ppt

约束条件 5.3 约束最优化方法 约束最优化方法: 求解有约束最优化问题的方法。 约束最优化问题的一般形式 gi(X)≥0 ( i=1, 2, ···, m) hj(X) = 0 ( j=1,2, ···, s, sn) min f (X), X∈Rn 约束优化问题的局部解和全局解 当X*与它邻域的点 X 之距离 || X－X* ||ε时，总有f(X*) f (X)。则 X* 称为该约束优化问题的一个局部最优点。 对某些约束优化问题，局部解可能有多个。在所有局部解中，目标函数值最小的那个解称为全局最优解，简称全局解。 约束优化问题的全局解一定是局部最优解，而局部最优解不一定是全局最优解。（与无约束优化问题相同） 二维多谷目标函数的局部最优解与全局最优解 (a)无约束极小化问题 (b)约束极小化问题 图b 约束条件g1(X)=0和g2(X)=0构成两个可行域D1和D2。D1区域内的最优点为X1*，D2区域内最优点为X2*和X3*。因f(X3*)f(X2*) f(X1*)，故X3*是全局最优点，X1*，X2*是局部最优点。 对于 从目标函数和不等式约束与等式约束的函数曲线可写出局部解： X1*=[-1,0]T, X2*=[5,0]T 因为X1*邻域内的任一满足约束的点，都有f(X1*)f(X)； 同理，X2*点亦然。 由于f (X1*)=4, f (X2*)=16，所以 X1*是全局最优点。 局部解与全局解 约束优化方法的分类 主要应用于不等式约束优化问题 约束优化方法 间接法 直接法 消元法 拉格朗日乘子法 罚函数法 随机试验法 随机方向搜索法 可行方向法 复合形法等 无约束优化法求解 等式约束或不等式约束问题 有约束问题转化为无约束问题求解 新目标函数 （无约束问题） 目标函数 约束条件 结合 目标函数 约束条件 在约束条件限制范围内直接应用 消元法是将等式约束最优化问题转换为无约束最优化问题的一种最简单方法。 1. 消元法 以二元非线性函数为例说明其计算方法。 求 minf(X) 目标函数 等式约束 解：由等式约束方程求得，x1=9000/x2 代入目标函数，得到一个新的目标函数 f2(x2) = 9×106x2-1 + 4/9×106 + 2.5×105x2 对一元函数f2(x2)求极值，得 x2*=6 代入约束方程得，x1*=1500，f(X*)= 3.44×106 2. 拉格郎日乘子法 通过引进一个待定系数（乘子），将有约束优化问题转化为无约束优化问题的求解。 该法既可用于求等式约束优化问题，也可用于求解不等式约束最优化问题。 （1）等式约束的拉格郎日乘子法 二维问题 求目标函数f (x1, x2)在满足等式约束g(x1, x2)=0条件下的极值。 n维问题 将二维问题扩展到n维目标函数 f (X)，且具有m个等式约束条件，即 gi(X)=0 (i=1,2, ···, m, mn)。 拉格郎日函数的极值点存在的必要条件： 拉格郎日函数的极值点就是原问题的最优解。 构造拉格郎日函数 L(X,λ)=f (X)－λg(X) 即 L(x1, x2,λ) = f (x1, x2)－λg(x1, x2) 这样就把有约束问题转化为无约束优化问题。 求解方程组可得n+m个解，即 x1*, x2*, ···, xn* (所求最优点) λ1*, λ2*, ···, λm* 拉格郎日函数极小的必要条件 则拉格郎日函数为 [例5-8] 用拉格朗日法求目标函数 在等式约束g(X)=x1- 6=0 条件下的最小点。 根据无约束函数的极值条件，则有 x1*=6, x2*=5, λ*=-3 f(X*)=11 联立方程组求解，得 解：构造拉格朗日函数 （2）不等式约束的拉格郎日乘子法 引入非负松弛变量υ2，将不等式约束变为等式约束。 把不等式约束变为等式约束后，再用拉格朗日乘子法求解。 若有m个不等式约束，则需增加m个松弛变量。因此使计算工作量增大。 引入松弛变量，可变为等式约束 基本步骤： 如不等式约束 3. 罚函数法 罚函数法也是一种将约束问题转换为无约束问题的间接寻优方法，又称代价函数法。 罚函数法是应用最广的一种求解非线性规划问题的方法。可用于求解等式约束和不等式约束最优化问题。 外点法、内点法、混合法 该法利用目标函数和约束条件，构造一个新的目标函数—罚函数，将有约束问题转化为无约束问题求解。 （1）等式约束优化问题的罚函数法 约束条件 设最优化问题 gi(X)=0 ( i=1, 2, ···, m mn) min f (X), X∈Rn RK：惩罚因子，一个很大的正数 构造一个新目标函数 罚函数 原目标函数 惩罚项 等式约束构成的函数 当(gi(X)≠0