5-3乘子法.pptVIP

5.1 约束优化问题的最优性条件 5.2 罚函数法 5.3 乘子法 5.4 可行方向法 5.5 投影梯度法 5.6 既约梯度法 第五章 约束最优化问题 第三节 乘子法 Hestens乘子法 Powell乘子法 Rockaffellar乘子法 等式约束问题 不等式约束问题 第五章 约束最优化问题 Hestens 乘子法 乘子法迭代原理 乘子法迭代步骤 乘子法举例 第五章 约束最优化问题 1.乘子法迭代原理 复习：罚函数法 求解 约束问题5-3 设X *是(NP)最优解，则存在Lagrange乘子 使 1.乘子法迭代原理 复习： X *是(NP)最优解 称为X *相应的Lagrange乘子 Lagrange函数： 约束问题5-3 1.乘子法迭代原理 改进罚函数法的思想： 罚函数： X *是(NP)最优解 称为X *相应的Lagrange乘子 Lagrange函数： 一般情况下, X *不是 (对固定的M)的最优解 约束问题5-3 因此一般情况下, X *不是 的最优解 1.乘子法迭代原理 罚函数： 证明： X *是(NP)最优解 一般情况下, X *不是 (对固定的M)的最优解 若X *是 的最优解, 由一阶必要条件有 矛盾 约束问题5-3 1.乘子法迭代原理 罚函数： X *是(NP)最优解 一般情况下, X *不是 (对固定的M)的最优解 因此，需要求解一系列的 ，其最优解 为了提高效率, 对罚函数进行改进，使X *是改进后的 罚函数的最优解。 约束问题5-3 1.乘子法迭代原理 罚函数： 乘子罚函数： 结论： Lagrange函数： X * 是(NP)的最优解 X * 是 的驻点。 约束问题5-3 1.乘子法迭代原理 罚函数： 乘子罚函数： 结论： 证明： 0 0 X * 是(NP)的最优解 X * 是 的驻点。 X * 是(NP)的最优解 约束问题5-3 乘子罚函数： 讨论(NP) 的最优解X *与 的最优解的关系 结论： X * 是(NP)的最优解 X * 是 的驻点。 求解 约束问题5-3 则 正数C*使得对 X*是 的最优解 乘子罚函数： 讨论(NP) 的最优解X *与 的最优解的关系 定理5-5 设10 f (X), hj (X)是二次连续可微； 20 X * 是(NP)的最优解, 且 使 30 对每个满足 X * 是(NP)的最优解 X * 是 的驻点。 约束问题5-3 1.乘子法迭代原理 乘子罚函数： 定理5-5 定理5-6 X * 是(NP)的最优解 X*是 的最优解 30 设X*是 的最优解 则 X * 是(NP)的最优解 是其相应的Lagrange乘子 讨论(NP) 的最优解X *与 的最优解的关系 约束问题5-3 则对 都有： 则对 都有： 定理5-6 证明： 设X*是 的最优解 则 X * 是(NP)的最优解 是其相应的Lagrange乘子 显然 若X*是 的最优解，且 所以， X * 是(NP)的最优解。 约束问题5-3 约束问题5-3 定理3-21 证明： 设X*是 的最优解 则 X * 是(NP)的最优解， 是其相应的Lagrange乘子 若X*是 的最优解，且 则X * 是(NP)的最优解。 又因为X*是 的最优解， 是 X * 相应的Lagrange乘子 0 1.乘子法迭代原理 乘子罚函数： 定理5-5 定理5-6 X * 是(NP)的最优解 X*是 的最优解 思路： 的最优解 求(NP)的最优解 问题：Lagrange乘子