凸优化理论与应用.ppt

信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 可行下降方向 可行下降方向：设 满足方程组 。若 满足方程组 ，则 。 称为可行方向。若对于较小的 ，有 ，则 为可行下降方向。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 等式约束的牛顿方法 LOOP： 计算 及 ； 若 则终止退出； 一维线性搜索：计算步长因子 ； 迭代： 初始化：给定初始解 满足 ，以及 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 消去等式约束的牛顿方法 转换为等式约束下的牛顿方法： 初始值 ，第 次迭代值 ； 初始值： 迭代值： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 非可行解为初始点的牛顿法 函数 二阶连续可微，因此有 为等式约束优化的非可行解，则增量 应尽可能使 满足KKT条件，即： 设 和 为KKT条件的解，即有： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 非可行解为初始点的牛顿法 则KKT条件可表示为： 令 设 为不满足KKT条件，则其迭代量需满足： 即 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 当 且 时，终止迭代。 非可行解为初始点的牛顿法 LOOP： 计算 和 ； 回溯一维线性搜索： 迭代： 初始化：给定初始解 及 ，以及 令 ； While 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 其中 ，且满足 。 KKT系统的求解 1. 分解； 2.若 非奇异，则可消元： 3.若 奇异，则KKT系统可改写为： KKT系统： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 凸优化理论与应用 第9章 内点法 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 则优化问题具有强对偶性，其对偶问题亦可解。 假设存在 ，满足严格不等式条件 不等式约束优化问题 问题描述： 为凸函数，且二次连续可微，且 假设最优值 存在； 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 不具备良好的连续可微性，考虑用对数阀函数来近似替代。 不等式约束的消去 示性函数消去不等式约束： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 令 对数阀函数 对于 ， 是 的光滑逼近。且当 时，有 带示性函数的优化问题可近似为： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 对数阀函数二阶连续可微，导数为： 对数阀函数 对数阀函数 是凸函数 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 中心线 对数阀近似问题的等价问题： 最优解为 ，则最优解集 称为优化问题的中心线。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 中心线的对偶点 设 ，则存在 满足KKT条件： 为对偶问题的可行解。 令 则 是拉格朗日函数 的最小值解。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 中心线的对偶点 设 为原始问题的最优值，则有： 因此，当 时，有 。 为原始问题的 次优解。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 更新 ： 阀方法 初始化：给定严格可行解 ， ， ，及 LOOP： 中心步骤：以 为初始点求解优化问题 ， 迭代： 终止条件：若 ，则终止退出。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 收敛性分析 外层循环迭代次数： 中心步骤实质为一个无约束或等式约束优化问题，其收敛性分析与相应优化问题的收敛性分析结果一致。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 例： LP问题： 初始值： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 当 时，原始问题不可解； 当 时，无法准确确定。 第一阶段方法 对于不等式约束的优化问题，如何寻找严格可行解或验证不可解？ 求解优化问题： 该问题最优解存在，假设最优值为 当 时，存在严格可行解； 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 第一阶段方法 优化目标为逐项之和： 对于固定的 ， 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 寻找严格可行解的方法 牛顿法求解优化问题： 迭代终止条件：当前解 ，即终止迭代，严格可行解为 。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.