第七章 约束最优化方法.pptVIP

基本思想 外罚函数法 等式约束问题 不等式约束问题 一般约束问题 外罚函数法算法 收敛性分析 收敛性分析 外罚函数法评价 内罚函数法 不等式约束问题 内罚函数法算法 收敛性分析 乘子法 等式约束问题的乘子法 算法构造 等式约束的乘子法(PH算法) 作　业 基本思想 等式约束问题 一般约束最优化问题 SQP方法的一般迭代格式 效益函数 系数的调节 矩阵的修正 约束变尺度法(WHP法) 信赖域SQP算法基本思想 启发： 采用外罚函数法． 构造： 我们将证明： 适当大时， 是 极小点． 但 是未知的， 在求 的同时， 采用迭代法求出 这是乘子法的基本思想． 定理３： 设 与 满足 为问题(1)的严格局部 极小点的二阶充分条件， 则存在 使对所有 为 的严格局部极小点； 反之， 若 且 对某个 是无约束问题 (5)的局部极小点， 则 是约束问题(1)的局部 极小点. 采用迭代法求点列 使 设已有 和 则由一阶最优性条件有： 要求 和 且 采用： 或： 例5： 用乘子法求解： 解： 增广Lagrange函数为： 令： 得： 所以： 乘子迭代公式为： 即： 取： 所以： 设 对上式取极限有： 得： 得： Step1: 给出 Step2: 以 为初始点求无约束问题： 得 Step3: 若 则 停； 否则转step4 Step4: 当 及放大系数 转step5; 否则令 转step5; Step5: 令 转step2; (1)用外罚函数法求解： (2)用内罚函数法求解： § 7.4 SQP方法 无约束变尺度法是在牛顿法的基础上发展而来 的，而牛顿法可以看作是求梯度零点（最优性条件） 的一种方法． 对于约束最优化问题，我们同样希望用牛顿法 来求解K-T点，并在此基础上发展形成了约束变 尺度法． SQP算法与有关算法相比具有许多显著的优点， 目前认为该方法是求解中小规模约束问题的十分 有效的方法． 其Lagrange函数为： 一阶最优性条件为： 或者为： 其中 表示约束的Jacobi矩阵： 上述方程组是含有 个方程和 个未知量 的非线性方程组， 用牛顿法解这个方程组可得： 其中 和 是下面牛顿方程组的解： 把这个方程组展开得： 考虑到 以及 可以将方程组改写成： 所得解为 和 而以上方程组恰好是下面二次规划问题 的一阶必要条件， 是其最优Lagrange乘子． 注： (1) SQP方法就是通过求解一系列二次规划 问题产生收敛于问题最优解和Lagrange乘子 的迭代序列 和 (2) 二次规划问题中，约束是原问题约束的 线性近似，但目标函数却不是原问题中目标 函数的二次近似． 这个函数的Hesse阵为 它不仅包含目标函数的二阶导数 信息，而且还包含了所有约束函数的二阶导 数信息． 每次迭代所要求解的二次规划子问题为： 注： (1)以上方法实质上是求等式约束问题的 Lagrange函数的平稳点， 被称为拉格朗日－牛顿 法， 它最早是由Wilson(1963)提出的． (2)以上方法虽然收敛速度可达二阶， 但是仅仅 是局部收敛的， 对初始点的选取要求较高． 为了 保证全局收敛性， 必须定义某一衡量 和 的 好坏、 在原问题最优解处达到极小的效益函数, 然后针对效益函数沿由(3)确定的方向进行线性 搜索。 (3)Lagrange-Newton法最主要的缺点是要求计算 Lagrange函数的Hesse阵， 使其因为计算量太大而 失去应用价值。 为了克服计算Hesse阵的缺点， 借鉴无约束最优化中的拟牛顿法， 在每次迭代中 用一正定阵 近似Hesse阵， 而随着迭代的进行 将用拟牛顿公式对 进行修正。 因此，人们常称 这类算法为约束变尺度法。 (4)Lagrange-Newton法最重要的理论贡献是： 由它我们得知可通过逐步求解(3)的二次规划子 问题来求解一般的非线性约束问题。 Step1: 给定 正定阵 令 Step2: 求解二次规划子问题 得解 及其对应的乘子 Step3: 针对所选的效益函数从点 沿方向 进行线搜索确定步长 并令 Step4: 利用 等信息， 采用某种拟牛顿公式 对 进行修正， 得到 令 转 Step2 注： 上述算法中， 当 时， 即为无约束变尺度法的格式． Han(韩世平)1977年提出用如下的 精确 罚函数作效益函数： 注： 在线搜索中， 使 下降， 相当于兼顾了 的下降和违反约束的程度的降低． 两者的轻重以系数 加以调节． Powell(1977)对 的自动调节公式如下： 设 为二次规划(4)的最优乘子向量，则： 理论上可以证明， 这样选取 值， 使 为 的下降方向． 第七章　 约束最优化方法 § 7.2 罚函数法 设法将约束问题求解转化为无约束问题求解． 具体说： 根据约束的特点，构造某种惩罚函数， 然后把它加到目标函数中去