第2章_最优化的基本理论和基本方法 最优性条件 22 有约束优化（第5次课 等式约束优化作业问题讲解）课件.pptVIP

按此所讲方法，拉格朗日函数的海赛矩阵为正定的是局部解的充分条件。不满足充分条件，不一定就不是局部解。 按其他方法，即从图上，我们可以判断出第一个是最优解，第二个不是局部解（计算可知第二个是 –f(x) 的局部解，所以是 f(x) 的局部极大值点）。 该定理的根据，An introduction to optimization , Chong, John Wiley, 2008. 凸优化问题常常有求最优解的简单方法。也作为该课程的一个重点。 第2章最优化的基本理论和基本方法§2 有约束最优化 问题：min f(x), x∈Rn (2-1) st ci(x1, x2, ..., xn) = 0, i?E ci(x1, x2, ..., xn) ? 0, i?I 其中E和I分别表示等式和不等式约束的指标集, E={ 1, 2, ..., l } I={ l +1, l +2, ..., l +m } E ? I = ? （空集） 考虑问题的局部解。考虑最优性条件。 §2.1 等式约束情况 问题： min f(x), x∈Rn (2-2) st ci(x1, x2, ..., xn) = 0, i?E 其中E ={ 1, 2, ..., l }为等式约束的指标集。 考虑问题的局部解。 拉格朗日函数和拉格朗日乘子法(学过？) 其中x= ， ， ? i，i= 1, 2, ..., l为拉格朗日乘子（或乘数）。 拉格朗日乘子法 ci(x) = 0, i=1, 2, ..., l 。 空格 解上述方程组，得x*即是可能的局部解。 （式一是L(x, λ)对各个xi 的偏导数为0， λ视为常数） 局部解的必要条件。 例：按照该方法或该必要条件求可能局部解 min f(x) = x1 + x2 st c1(x) = 2 - x12 - x2 2 = 0 解： c1(x) = 2 - x12 - x2 2 = 0 解得x1=-1，x2 =-1，λ1=-1/2； x1=1，x2 =1，λ1=1/2 。它们是可能的局部解。 ?f(x*) ?c1(x*) x* ?f(x) f(x) = x1 + x2 = -2 O ?c1(x) 图解： 在局部解x*(也是最优解)处，?f(x*)和?c1(x*)平行，所以有某个数λ*，使得 此例说明：拉格朗日定理是正确的。 对于此例， λ* = -1/2。 （可看到: 等式约束时Lamda不必≥0。后面有用。） 高维例子 P240，薛毅 ?c1(x*),?c2(x*),?f(x*)共面 （都和切线T垂直） 交线D为可行域 设x*为局部解。x*处D的切线为T。 等值面 min f(x)=f(x1, x2, x3) st c1(x)=c1(x1, x2, x3)=0 c2(x)=c2(x1, x2, x3)=0 拉格朗日定理 定理 对于等式约束最优化问题(2-2)，设f(x)、 ci(x)在x*处有连续偏导数，又设下面的l个n维向量 ?ci(x*), i?E 线性无关。那么，如果x=x*为问题的局部解，则存在 向量 使得： 方法/定理正确性的举例说明-证明难懂。 min f(x) = x1 + x2 st c1(x) = 2 - x12 - x2 2 = 0 局部解的必要条件 对等式约束最优化问题(2-2)，设满足拉格朗日定理 的条件，如果x=x*为问题的局部解，则存在常数向量 ?* =(?1*, ?2*, …, ?l*)T，有 和 ci(x*) = 0, i=1, 2, ..., l。 这是拉格朗日乘子法的基础，拉格朗日定理的重复。 局部解的二阶必要条件和充分条件 (选学) 预备：拉格朗日函数的海赛矩阵 海赛矩阵 定义集合 这是与每个约束函数梯度或法向量都正交的向量的集合。 局部解二阶必要条件(选学) 定理 对于等式约束最优化问题 min f(x), x∈Rn , st ci(x1, x2, ..., xn) = 0, i?E 设f(x)、ci(x)在x*处有连续偏导数，而且l个n维向量 ?ci(x*), i?E 是线性无关的。 设x=x*为问题的局部解，?*=(?1*, ?2*, …, ?l*)T满足