第7讲无约束优化方法.pdf

第七讲 无约束优化一阶方法 最速下降法 1.最速下降法的由来 考虑无约束问题 x Rn min f (x), , 其中，函数具有一阶连续偏导数. 人们在处理这类问题是，总希望从某一点出发， 选择一个目标函数值下降最快的方法，以利于尽快 达到极小点. 基于此愿望，1847年法国数学家 Cauchy提出了最速下降法. 后来，Curry等人作了 进一步的研究，得到现在众所周知的一种最基本的 方法. 2.最速下降法的方向选择 最速下降法利用负梯度为方向 d  f (x ) k k 作为搜索方向. f (x) x d 设 在 附近连续可微， 为搜索方向