凸优化理论与应用无约束优化.ppt

信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn 凸优化理论与应用 第7章 无约束优化 无约束优化问题 例 迭代起始点 强凸性 强凸性 强凸性 下降法 下降法 步长因子搜索 步长因子搜索 梯度下降法 收敛性分析 例 例 最速下降法 最速下降法 收敛性分析 牛顿法 牛顿法 牛顿减量 牛顿方法 收敛性分析 收敛性分析 例 * * 问题描述： 无约束问题求解的两种方法： 迭代逼近： 求解梯度方程： 为凸函数，且二次可微。 梯度方程 二次优化： 满足条件2的几种函数： 起始点 满足： 函数 任意下水平集都是闭集； 函数的定义域为 当 时， 定义：函数 在 上具有强凸性，若 满足 若函数 具有强凸性，则有 为最优值，则 则有 为最优值，则 若函数 在 上具有强凸性，则可以证明存在 ，满足 对于 ，矩阵 的特征值从大到小依次为 。则有： 定义：矩阵 的条件数为最大特征值与最小特征值之比，即 。 条件数的上界： 下降法的基本原理： 迭代 ，满足 为下降方向， 为步长因子。 对于凸函数 ，当 满足 时，存在某个 ，使得 。 下降法的一般步骤： 给出初始点 ； 循环迭代 计算下降方向 ； 搜索步长因子 ； 迭代： 精确一维搜索： 回溯一维搜索：给定参数 循环迭代 初始化：令 ； 若 ，则终止退出； 否则令 算法简单，但收敛速度较慢。 下降方向： 终止条件： 收敛性： 其中 。 则有： 设函数 具有强凸性，则存在 和 ，满足： 若 采用精确一维搜索，则 ，收敛速度因子： 若 采用回溯一维搜索，收敛速度因子： 条件数越大，收敛速度越小。 当 时，算法收敛速度很慢。 初始解为 ，采用精确一维搜索； 迭代： 步长因子采用回溯一维搜索。 归一化最速下降方向： 非归一化最速下降方向 欧式范数： 二次范数 ： 范数： 范数界： 收敛速度因子： 设函数 二阶可微，则在 附近， 的泰勒展式为： 泰勒展开可作为 在 附近的近似； 下降方向： 为二次范数 上的最速下降方向。 令 为 在 处的牛顿减量。 牛顿减量的性质1： 性质2： 牛顿减量可作为迭代求解的误差估计。 性质3：牛顿减量具有仿射不变性。 初始化：给定初始解 以及 LOOP： 计算： 若 则终止退出； 一维线性搜索：计算步长因子 ； 迭代： 定理：假设 二阶连续可微，具有强凸性，即存在 ，满足： 则存在 ， 且海森矩阵满足Lipschitz条件，即存在 ，满足： 若 ，则 ； 若 ，则 ，且 *