最优化方法(刘)第六章幻灯片.pptVIP

研究问题 等式约束二次规划 直接消去法 Lagrange方法 作　业 严格凸二次规划 理论基础 算法原理 二次规划的有效集算法 作　业 第六章　 二　次　规　划 其中 是 对称阵． 注： (1) 若Hesse阵是半正定的， 则称为凸二次 规划，此问题有时并不比求解线性规划困难． (2) 对非凸二次规划，可能有多个局部极小点， 求解比较困难． § 6.2 解析法 其中 以下假设 为列满秩的， 即 对等式约束中矩阵 进行分块， 使得 为 阶非奇异方阵， 此时等式约束可改写成： 相关的量 与 作如下分块： 其中 其余类似． 该分块使得 为 阶非奇异方阵， 因此 存在， 此时由上面方程可得： 将此代入 则可将等式约束二次规划转化 为下列无约束优化问题： 其中 如果 正定， 则可求出无约束问题的最优解为 代入可确定对应的 从而得到二次规划 最优解： 相应的最优Lagrange乘子 可由下式确定， 只需考虑该方程组的前 行就可以给出 例1： 用直接消去法求解： 解： 由(3)可得： 将上式代入(2)可得： 上面两式就是在变量分解 将(4)(5)代入(1)可得： 由(6)可得： 代入可得： 利用 可得： 由上式可得Lagrange乘子： 等式约束的二次规划问题的Lagrange函数为： KKT条件为： 其矩阵形式为： 系数矩阵称为KKT矩阵． 定理1: 假设 为列满秩矩阵， 若投影 Hesse阵 正定， 则等式二次规划问题的 KKT矩阵: 是非奇异的， 从而存在唯一的KKT对 满足方程组(6.1). 例2： 用Lagrange方法求解： 解： 其中 为最优乘子. (1)用Lagrange方法求解： § 6.3 有效集方法 其中 是 对称阵． 当 为正定阵时， (1)为严格凸二次规划． 定理2: 设 是二次规划问题(1)的局部极小点， 则 必是问题： 的局部极小点(显然成立)． 反之，如果 是(1)的可行点, 且是(2)的KT点, 而且相应的乘子 满足： 则 必是问题(1)的KT点．（证明） 证明: 设 是(1)的可行点， 且是(2)的KT点， 因此存在 使得： 定义： 可知： 再由 是(1)的可行点， 可知是(１)的KT点. 设 是(1)的一个可行解， 相应的有效集为 为 中对应于 的子阵， 求解二次规划： 容易证明： (3)与下面二次规划等价： 其中 分析: 当 时， 为(3)的最优解， 若对应 Lagrange乘子非负， 则 为(1)的最优解. 当 时， 并且 为(1)的可行解， 则令 否则以 为方向作线搜索， 以求得 更好的可行点． 步长的选取方法： 由于 为凸二次函数,故最 优解必在边界上达到， 设步长 由可行性要求有： 即： 因为 为可行解， 故 非正． 在(5)中: 当 时， 恒成立； 当 时， 要求 此时 合并： 分析： 当 时， 当 时， 即 时， 则存在某个 在 处增加了一个有效约束， 当 时， 且Lagrange乘子有负分量， 若 则 不是(1)的最优解． 此时需要找可行下降方向． (4)中删去第 个约束Lagrange乘子有负分量的情况， 所得到的新的二次规划问题的最优解必为一个可行下降方向。 Step1: 给出 确定 Step2: 求解(4)得最优解 若 则转 Step4; 否则转Step3; Step3: 计算(4)的Lagrange乘子向量 并求 若 则 为(1)的最优解，停； 否则,令 相应改变 转Step2 Step4: 由(7)确定 令 Step5: 若 则令 其中 由(6)确定； 否则令 Step6: 令 转Step2； 有效集算法收敛定理 定理3: 若在有效集算法中， 每步迭代 为列 满秩且 则算法有限步收敛到问题(1)的 最优解． 例3： 用有效集法解二次规划： 解： 取 求解： 即： 得： 因 故令