最优化方法第二章_线搜索算法_最速下降法.pdf

一 一维搜索 下 二 最速下降法 降 三 Newton法 算 四 共轭梯度法 法 五 多尺度法 （拟Newton法） 二、最速下降法 假设f 连续可微，取 线搜索方向 k k d f (x ) f (x k d k ) min f (x k d k ) k 0  步长 由精确一维搜索得到。 k 从而得到第k+ 1次迭代点，即 xk 1 xk + d k xk  f (xk ) k k 单位向量  负梯度方向 k k 是函数值减少最快的方向。 d f (x ) T k k k f (x ) d f (x ) d cos(f (x ),d ) 二、最速下降法  最速下降法的计算流程 0 x   0 k : 0 (1) 选定某一初始点 ， 并令 (2) 若f (x k ) ,x * x k ，否则转（3 ）； k k (3) d f (x )  (4) 由精确一维搜索确定步长步长 ，即由一个极小化 k 问题求得最佳步长 min f (x k d k ) 令xk 1 xk  d k , k k 1, 转（2 ）。 k  最速下降法可以用来求解系数矩阵正定线性方程组。 1 T f (x ) x Ax bx f (x ) Ax b 0 2 二、最速下降法 例1. 利用最速下降法求解min f (x ) x 2 2x 2 2x x 4x , 1 2 1 2 1 0 T 取初始向量 x 1,1 .  