第8单元 约束优化准则及转换算法.pptVIP

8 约束优化准则及转换算法 无约束最优化准则 等式约束最优化准则： Lagrange乘子法 不等式约束最优化准则： Kuhn-Tucker条件 一阶条件 二阶条件 8.1约束优化问题的最优化准则 8.1.1等式约束最优化准则 不等式约束问题 式（1） 不等式约束的Kuhn-Tucker条件(KTC)或Kuhn-Tucker问题(KTP) 式（1） 式（2） 定理8.1:Kuhn-Tucker必要性条件 对式(1)所述的优化问题，考察x*，如果 函数f, g, h可微， x*满足式（1）中的约束条件，并令 与 线性无关 那么，如果x*是优化问题(1)的解，则必存在(u*,v*)使得(x*,u*,v*)为 KTC条件（2）的解。 定理8.2:Kuhn-Tucker充分性条件 对式(1)所述的优化问题，如果 目标函数f为凸函数， 所有不等式约束函数g为凹函数， 所有等式约束函数h为线性函数， 那么，如果(x*,u*,v*)为 KTP（2）的解， 则x*是优化问题(1)的解。 定理8.3:Kuhn-Tucker二阶必要性条件 对式(1)所述的优化问题，考察x*，如果 函数f, g, h二阶可微， x*满足式（1）中的约束条件，并令 与 线性无关 那么，如果x*是优化问题(1)的解，则 必存在(u*,v*)使得(x*,u*,v*)为 KTC条件（2）的解。 必有 ，其中 HL为L的二阶导数，y为约束子空间中任意向量，满足下二式： 定理8.4:Kuhn-Tucker二阶充分性条件 对式(1)所述的优化问题，其中函数f, g, h二阶可微，如果 存在(u*,v*)使得(x*,u*,v*)为 KTC条件（2）的解。 式 对任意满足以下三式的非零向量y成立 那么，如果x*是优化问题(1)的解 鞍点条件：不可微函数的最优化准则 Kuhn-Tucker鞍点问题（KTSP） 式（4） 式（3） 鞍点条件：不可微函数的最优化准则 定理8.5: KTSP充分性条件 如果(x*, u*)是KTSP（式（4））的鞍点，则x*是优化问题（式（3））的解 鞍点条件：不可微函数的最优化准则 定理8.6: KTSP鞍点存在性条件 如果uj≥0,且 x*为L(x, u*)最小值 gj(x*)≥0, j=1,…,J ujgj(x*) = 0, j=1,…,J 则(x*, u*)是KTSP（式（4））的鞍点 8.2 约束优化的转换算法 把约束优化转化为无约束优化 8.2.1惩罚函数方法 R：惩罚因子，对违反约束的取值要大，对符合约束的取值要小 抛物型惩罚函数举例 抛物型惩罚函数举例 优化迭代序列 抛物型惩罚函数举例 对数惩罚函数举例 对数惩罚函数举例 8.2.2乘子法 8.2.2乘子法 算法 min 8.2.2乘子法 特点 函数扭曲不大，不增加求解难度 等价于Kuhn-Tucker条件： 乘子法举例 乘子法举例 y为约束子空间中的任意向量。 * Table 6.1 Stationary Values of Parabolic Penalty * y为约束子空间中的任意向量。 * Table 6.1 Stationary Values of Parabolic Penalty *