非线性优化问题资料.ppt

例5： 用乘子法求解： 解： 增广Lagrange函数为： 令： 得： 所以： 乘子迭代公式为： 即： 取： 所以： 设 对上式取极限有： 得： 得： 也可不取特定值，直接对上式求极限 等式约束的乘子法(PH算法) Step1: 给出 Step2: 以 为初始点求无约束问题： 得 Step3: 若 则 停； 否则转step4 Step4: 当 及放大系数 转step5;否则,转step5; Step5: 令 转step2. 作　业 (1)用外罚函数法求解： (2)用内罚函数法求解： 基本思想 设法将约束问题求解转化为无约束问题求解． 具体说： 根据约束的特点，构造某种惩罚函数， 然后把它加到目标函数中去，将约束问题的 求解化为一系列无约束问题的求解．　　 惩罚策略： 企图违反约束的迭代点给予很大的　　 目标函数值． 迫使一系列无约束问题的极小点或 者无限地靠近可行域，或者一直保持在可行域 内移动，直到收敛到极小点． 外罚函数法（外点法） 引例： 求解等式约束问题: 解: 图解法求出最优解 构造： 但是 性态极坏， 无法用有效的无约束 优化算法求解． 设想构造： 其中 是很大的正数． 求解此无约束问题得： 当 时， 有： 等式约束问题 构造： 其中 为参数，称为罚因子． 分析： 当 不是可行解时， 越大， 惩罚越重． 因此当 充分大时， 应充分小． 即 的极小点应充分逼近可行域， 进而 逼近(1)的最优解． 不等式约束问题 构造： 分析： 当 不是可行解时， 越大， 惩罚越重． 因此当 充分大时， 应充分小． 即 的极小点应充分逼近可行域， 进而 逼近(2)的最优解． 一般约束问题 构造： 其中： 例1： 用外罚函数法求解： 解： 即： 因此： 令： 得： 最优值： 当 时： 注： (1) 往往不满足约束条件， 都是 从可行域外部趋向于 的． 因此叫外罚函数法． (2) 通过求解一系列无约束最优化问题来求 解约束最优化问题的方法， 又称为序列无约束 极小化技术SUMT. 外罚函数法,又称SUMT外点法． 外罚函数法算法步骤 Step1: 给出 (可是不可行点)， 罚因子 放大系数 Step2: 以 为初始点求无约束问题： 得 Step3: 若 则 停； 否则转step4 Step4: 令 转step2. 例2： 用SUMT外点法求解： 取 求解 迭代过程见下表： １ 0.1 (1.4539,0.7608) 0.0935 0.1831 ２ 1 (1.1687,0.7407) 0.5753 0.3908 ３ 10 (0.9906,0.8425) 0.5203 0.1926 ４ 100 (0.9507,0.8875) 1.9405 0.0267 收敛性分析 引理1： 对于由SUMT外点法产生的点列 则有： 设 收敛性分析 定理1： 设约束问题(3)和无约束问题(4)的整体 最优解为 和 对正数序列 且 则由SUMT外点法产生的点列 的 任何聚点 必是(3)的整体最优解． 证： 不妨设 因为 和 分别为(3)和(4)的整体最优解， 且 所以有： 为单调有界序列， 设其极限为 亦为单调有界序列， 设其极限为 且 连续； 即 为可行解 为最优解； 连续； 即 为(3)的整体最优解． 外罚函数法评价 (1) 如果有了求解无约束问题的好算法，利用 外罚函数法求解约束问题很方便． (2) 每个近似解 往往不是可行解，这是某 些实际问题所无法接受的． 内罚函数法可以解决． (3) 由收敛性定理 取越大越好， 而 越大将 造成增广目标函数 的Hesse阵条件数越 大，趋于病态，给无约束问题求解增加很大困 难，甚至无法求解．乘子法可解决这个问题． 内罚函数法 惩罚策略： 在可行域的边界上筑起一道很高的 “围墙”，当迭代点靠近边界时，目标函数值 陡然增大，以示惩罚，阻止迭代点穿越边界， 这样就可以把最优解“挡”在可行域内了． 注： 惩罚策略只适合于不等式约束问题， 并且要求可行域的内点集非空． 不等式约束问题 构造： 其中： 或 分析： 为可行域的内点时， 为有限正数， 几乎不受惩罚； 接近边界时， 趋于无穷大， 施以很重的惩罚； 迫使极小点落在可行域内， 最终逼近极小点． 例3： 用内罚函数法求解： 解： 令： 所以 当 时， 注： 一般 最优解很难用解析法求出， 需采用序列无约束最优化方法． 内罚函数法算法 Step1: 给出 (要求是可行点)， 罚因子 缩小系数 Step2: 以 为初始点求无约束问题： 得 Step3: 若 则 停； 否则转step4 Step4: 令 转step2. 例4： 用SUMT内点法求解： 取 迭代结果见下表： １ 10 (2.0402,3.1623) 12.5290 12.7755 ２ 1 (1.1473,0.3162