凸优化理论与应用重点.ppt

信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 可行下降方向 可行下降方向：设 满足方程组 。若 满足方程组 ，则 。 称为可行方向。若对于较小的 ，有 ，则 为可行下降方向。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 等式约束的牛顿方法 LOOP： 计算 及 ； 若 则终止退出； 一维线性搜索：计算步长因子 ； 迭代： 初始化：给定初始解 满足 ，以及 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 消去等式约束的牛顿方法 转换为等式约束下的牛顿方法： 初始值 ，第 次迭代值 ； 初始值： 迭代值： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 非可行解为初始点的牛顿法 函数 二阶连续可微，因此有 为等式约束优化的非可行解，则增量 应尽可能使 满足KKT条件，即： 设 和 为KKT条件的解，即有： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 非可行解为初始点的牛顿法 则KKT条件可表示为： 令 设 为不满足KKT条件，则其迭代量需满足： 即 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 当 且 时，终止迭代。 非可行解为初始点的牛顿法 LOOP： 计算 和 ； 回溯一维线性搜索： 迭代： 初始化：给定初始解 及 ，以及 令 ； While 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 其中 ，且满足 。 KKT系统的求解 1. 分解； 2.若 非奇异，则可消元： 3.若 奇异，则KKT系统可改写为： KKT系统： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 凸优化理论与应用 第9章 内点法 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 则优化问题具有强对偶性，其对偶问题亦可解。 假设存在 ，满足严格不等式条件 不等式约束优化问题 问题描述： 为凸函数，且二次连续可微，且 假设最优值 存在； 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 不具备良好的连续可微性，考虑用对数阀函数来近似替代。 不等式约束的消去 示性函数消去不等式约束： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 令 对数阀函数 对于 ， 是 的光滑逼近。且当 时，有 带示性函数的优化问题可近似为： 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 对数阀函数二阶连续可微，导数为： 对数阀函数 对数阀函数 是凸函数 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 中心线 对数阀近似问题的等价问题： 最优解为 ，则最优解集 称为优化问题的中心线。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 中心线的对偶点 设 ，则存在 满足KKT条件： 为对偶问题的可行解。 令 则 是拉格朗日函数 的最小值解。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 中心线的对偶点 设 为原始问题的最优值，则有： 因此，当 时，有 。 为原始问题的 次优解。 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 更新 ： 阀方法 初始化：给定严格可行解 ，