1120 罚函数法 (罚函数法与乘子法合订).ppt

收敛性定理 5 算法评价（优缺点） 二、内点罚函数法(碰壁函数法)—内点法 2 罚函数的特点 3. 算法实现 收敛性定理 构造新的辅助函数 2. 算法实现 乘子法是由Powell和Hestenes于1969年彼此独立对等式约束的优化问题首次提出来的。 1. 等式约束问题的乘子法(Hestenes乘子法) 等式约束的乘子法 PHR算法 其中： Step2: 以 为初始点求无约束问题： 得最优解 Step3: 若 则 停； 否则转Step4 Step4: 令 转 Step2. Step1: 给出 误差精度 参数 缩小系数 令 四、 乘子法—广义乘子法 1973年，Rockafellar将其推广到不等式约束的优化问题，成为求解约束优化问题的一类重要而有效的方法。 后来，D. A. Bertsekas 对乘子法做了系统的论述与理论分析。与此同时，一些学者给出了乘子法的Fortran程序，使乘子法得到广泛的应用。 把外点罚函数与Lagrange函数结合起来，构造出更合适的新目标函数，使得在罚因子适当大的情况下，借助于Lagrange乘子就能逐步达到原约束问题的最优解。 基本思想： 由于这种方法要借助于Lagrange乘子的迭代进行求解而又区别于经典的Lagrange乘子法，故称为广义乘子法。 其中 和 二阶连续可微． 设 为Lagrange乘子向量， 则对应Lagrange 函数为： 设 是 的极小点， 是最优的乘子向量 ． 则(1)可等价为： 启发： 采用外点罚函数法． 构造： 可以证明： 适当大时， 极小点是 但 事先是未知的，怎么办？ 用迭代法求出 以上就是乘子法的基本思想． 迭代公式为: 并求解 下面考虑在求 的同时, 依据： 给定 设对应的无约束问题 即 的最优解为 迭代公式为: 则根据最优解的必要条件知 又因 适当大时， 所以 适当大时， 对照以上两式， 而在 处，由K-T条件得 有 于是迭代公式取为: 所以 适当大时， 定理4： 设 迭代什么时间终止呢？ Step2: 以 为初始点求无约束问题： 得 Step3: 若 则 停； 否则转Step4. Step4: 若 说明收敛速度还不错，转Step5; 否则，令 转Step5; Step5: 令 转Step2; Step1: 给出初始值 及放大系数 衡量标准 * Page * * §2 惩罚函数法 基本思想： 通过引入惩罚函数，将求解约束非线性规划问题转化为求解一系列无约束非线性规划问题． 具体说： 根据约束的特点，构造某种惩罚函数， 然后把它加到目标函数中去，将约束问题的求解 化为一系列无约束问题的求解（准确地说，是将　　 这些无约束问题的极小点依次作为迭代点）．　　 根据惩罚函数表达式（构造方法的不同），形 辅助函数: 外点罚函数法、内点罚函数法、乘子法(外点罚函数法的一种推广和发展)． 成不同的罚函数法。 我们重点介绍三种： 作辅助函数: 考虑如下问题： 做法： 其中 不断循环求解. 接下来求解 并不断改变 一、外点惩罚函数法—外点法 1. 解析法： (1)构造: 其中 一般取 是很大的正数． 得最优解 (2)求解: (3) 令 有 即得原问题的最优解. 2.罚函数的特点 分析： 当 不是可行点时， 又因 是大正数． 故此 很难成为 的极小点. 因此，按上策略 得到的 的极小点应充分靠近可行域，逐渐 接近原问题的最优解． 其中 一般取 是很大的正数． 辅助函数: 当 是可行点时， 例1： 求解等式约束问题: 分析: 图解法求出最优解 下面看用外点法如何求解. 即如何构造惩罚 函数？ 解：构造罚函数和辅助函数： 其中 是很大的正数． 令： 得： 并且 可见 正定. 又因该点处 令 时， 有： 即：无约束问题的最优解的极限为原问题的最优解． 处取得极小值. 因此 在点 例2： 用外点罚函数法求解： 解： 即： 因此： 作辅助函数 令： 得： 又因该点处 并且 可见 正定. 同理： 处取得极小值. 因此 在点 令 得： 所以原问题的最优解及最优值分别为： 易验证 即满足约束条件, 3 算法实现 对于上述解法中, 的选取对问题的求解十分重要, 一般策略是取一个趋于无穷大的严格递增正数列 得极小点序列 然后求解 随着迭代次数(k)的增加，该点列渐渐收敛于原问题 的极小点. 下面看一下外点法的求解问题的数值算法. 算法实现（数值解法） 1) 给定初始点 初始惩罚因子 允许误差 放大因子 否则，令 返回 2)． 3) 若 停止运算，取 作为近似解． 令 2) 以 为初始点，求解 得极小点，记作 根据经验, 常常取 定理 设 的极小点为 则会出现 以下两种情况： （1）如果存在某