最优化方法 4无约束最优化方法 知识点梳理.pdfVIP

第四章无约束最优化方法 TUTU TUTU 第四章无约束最优化方法 1 / 17 最速下降法的思想、构造、优缺点 ♢ 最速下降法的思想：以负梯度方向作为下降方向的极小化算法，又 称梯度法 ♢ 最速下降法的构造：目标函数f (x) 在 xk 附近连续可微，且 2 g = ∇ f (x ) ≠ 0，则最速下降方向为−g ； k k k 迭代格式为x = x − α g ；最速下降法是总体收敛的 k+1 k k k ♢ 最速下降法的优缺点： 优点：程序设计简单，单步迭代计算工作量小，存储量小，对初始 点没有特别要求，是无约束最优化中最简单、最基本的方法 缺点：最速下降方向仅是函数的局部性质，下降非常缓慢； 当目标函数的等值线接近于圆 (球) 时，下降较快；等值线是扁长的 椭球时，开始下降较快，后来出