凸优化_中文笔记答案ch9无约束.pdfVIP

1 无约束优化问题 . 2 下降法 . 3 梯度下降法 . 4 最速下降法 . 5. 法 1 无约束优化问题 . 问题描述 inimize (x) m f f (x) 其中， 为凸函数，且二次可微。 两种解法 * 求解梯度方程： f (x ) 0 f ( (k)  * 迭代 近： x ) p 1 无约束优化问题 . 强凸性 函数 f (x)在 上具有强凸性,若存在m ,使得 0 强凸性的作用：确定停止准则 2 下降法 . 基本原理 (k1) (k) (k1) (k) 迭代 x x tx ，满足f (x ) f (x ) 其中， 为下降方向， 为步长因子；t x f (x) T x f (x) x0 对于凸函数 ，当 满足 时，存在某个 ，使 t 得 (k1) (k) 。 f (x ) f (x ) 算法 给出初始点 循环迭代，直到满足停止准则 计算下降方向： 搜索步长因子： 更新 ： 2 下降法 . 步长因子搜索方法 精确一维搜索 回溯一维搜索 初始化：令 ，给定参数( t1 0,0.5), (0,1) 循环迭代 ，直到 x t )  ( T x f x)  tf(x) x tt f (   3 梯度下降法 . 下降方向： 终止条件： 算法简单，但收敛速度较慢。 4 最速下降法 . 归一化最速下降方向： 非归一化最速下降方向： 欧式范数： 二次范数 ： 范数： 4 最速下降法