约束优化_二次规划与SQP.ppt

第10章：约束优化：二次规划与逐步二次规划法 Constrained Optimization: Quadratic Programming and SQP 等式约束二次规划 积极集法 逐步二次规划法 优点：局部二阶收敛 存在问题 ⊙ 初始点不好时，迭代可能发散 ⊙ 子问题的解可能不存在－无界或者不可行 ⊙ 需要二阶导数－W(k) 全局化策略：使用线搜索策略或者信赖域策略 ⊙ 评价函数法 常用的是 l1 精确罚函数，迭代中需更新惩罚因子； ⊙ 滤子(Filter)法 存在问题：具有Martos效应，需要采取校正措施 近似二阶导数 ⊙ 用近似矩阵B(k)代替W(k) ⊙ 用近似矩阵代替既约海森矩阵Z(k)TW(k) Z(k) 子问题的求解 基本/局部逐步二次规划法(续) 假设 是等式约束问题的满足二阶充分条件的极小点，即 这里 Z 是A*Ts=0的基础解系组成的矩阵. 则s*=0 (x*)是下列问题的惟一最优解 基本/局部逐步二次规划法(续) 算法10.3.1 基本SQP法 基本/局部逐步二次规划法(续) 例 基本/局部逐步二次规划法(续) 实用逐步二次规划法 实用优化方法 第10章 约束优化：二次规划与SQP 数学与系统科学学院 约束优化问题 可行域： 特殊问题 可行方向法－线性约束问题 次梯度优化－对偶问题 一般问题 逐步二次规划法 惩罚函数法 内点法(原对偶内点法)－凸规划 常 用 方 法 解的情况：无可行解、无界、有解 其中 G 是 n 阶对称方阵，ai , d是 n 维常向量 有解时： ⊙ G半正定：KKT点即为全局极小点 ⊙ G 正 定 ：有惟一的极小点 ⊙ G 不 定：局部解有可能不是全局解，此时找全 局解是NP-难问题 G 半正定 凸二次规划 有价证券的组合优化 ⊙ 投资组合：设对第 i 项投资的资金投放比例为 xi ⊙ 问题：对收益与风险的折衷进行建模 投资集合{1, …, n}，可能收益为ri ◇ 假定II 所有资金均投资，不允许卖空 ◇ 假定I 设 是随机变量 有价证券的组合优化(续) ⊙ 证卷组合： 证卷组合的利润： 证卷组合的期望收益和方差： G 是半正定矩阵！ ⊙ 证卷组合优化(portfolio optimization)： 有价证券的组合优化(续) Markowitz引入风险容许参数(risk tolerance parameter) 找出“最优的”证券投资组合！ ⊙ 参数 ，设定值依赖于投资者的个人偏好 保守型投资者：大的参数取值 冒险性投资者：小的参数取值 等式约束二次规划 等式约束二次规划 其中 假定: 线性无关 核心思想：消元法(基本、广义) 其中 ，A1可逆 代入 q(x) 等式约束二次规划－基本消元法 消去 x3 等式约束二次规划－基本消元法(续) 找 A 的可逆子矩阵 A1，进行消元 如果 正定，解方程组 可得惟一解 等式约束二次规划－广义消元法 令 Y 和 Z 分别是 n×m 与 n×(n-m)矩阵，满足 考察方程组ATx=b: Yb是特解；通解x=Yb+ s， 其中s 是齐次线性方程组ATs=0的解 任一可行解均可表示为: x=Yb+Zy 如果ZTGZ正定，则原问题有惟一解，解方程组 等式约束二次规划－广义消元法(续) 构造 Y 和 Z的正交分解法 对矩阵 A 进行QR分解，即 等式约束二次规划－广义消元法(续) 实用二次规划算法综述 ⊙ 经典积极集法(classical active-set methods) 求解凸和非凸二次规划问题－－中小规模(几百个变量！) ⊙ 梯度投影法(gradient-projection methods) 界约束QP(BoxQP)! ⊙ 内点法(interior-point methods) 大规模凸二次规划！ 积极集法 技术注记：此处用线性约束规范代替LICQ! 故二次规划的任一解x*均满足KKT条件 其中 G 是 n 阶对称方阵，ai , d是 n 维常向量 解的情况：无可行解、无界、有解 G 半正定 凸二次规划 积极集法－问题 最优积极集！ 积极集法－算法的动机(motivation) 如果提前知道　　，求解 对最优积极集进行猜测，