最优化方法讲稿-4.pdfVIP

第四章 无约束最优化方法 §1 最速下降法 考虑无约束最优化问题 (UCOP) min f (x), x ∈R n , 其中f 是R n 上的连续可微函数。 设x (k ) 是当前迭代点，如果∇f (x (k ) ) ≠0 ，则由第一章第三节的结论，p (k ) −∇f (x (k ) ) 是f 在x (k ) 处的最速下降方向。这启发我们，为使f 在x (k ) 处获得最快的下降，可沿p (k ) 进 行精确一维搜索，即求α 0 ，使得 k f (x (k ) +α p (k ) ) min f (x (k ) +αp (k ) ), k α≥0 进而，得到下一个迭代点 (k +1) (k ) (k ) x x +α p . k 由于这种方法是沿着最速下降方向进行搜索，所以称作最速下降法。 最速下降法。 Step1 取初始点x (0) 和允许误差ε 0 ，令k : 0 ； Step2 计算p (k ) −∇f (x (k ) ) ； Step3 如果 p (k ) ≤ε ，则停止迭代，取x * ≈x (k ) ；否则，转下一步； Step4 求α 0 ，使得 k f (x (k ) +α p (k ) ) min f (x (k ) +αp (k ) ), k α≥0 Step5 令x (k +1) x (k ) +α p (k ) , k : k +1，转Step2。 k 在给出最速下降法的收敛性定理之前，首先给出一个有关最优步长的性质，这一性质在 研究算法的收敛性时经常用到，并且常常被用来求严格凸二次函数的最优步长。 定理1.1 在精确一维搜索min f (x (k ) +αp (k ) ) 中，最优步长α 是如下方程的解： k α≥0 ∇f (x (k ) +αp (k ) )T p (k ) 0; 1 T T 当f (x) x Ax +b x +c 是严格凸二次函数时，有 2 1 ∇f (x (k ) )T p (k ) α − .