最优化理论和应用-5.pdfVIP

最优化理论与应用最优化理论与应用 第第5讲讲-线搜索方法线搜索方法 电子科技大学 自动化工程学院 彭晓明彭晓明 1 内容提要 步长的选择步长的选择 牛顿法中Hessian矩阵的 修改 2 步长的选择步长的选择 Wolfe条件 Goldstein 条件 步长选择的一些算法 牛顿法中牛顿法中Hessian矩阵的矩阵的 修改修改 3 步长的选择 对于线搜索方法首先要选择对于线搜索方法首先要选择一个个 使得函数值下降的方向，即满足 T f (x ) p 0 k k 下下一步是选择步长步是选择步长αk 使得目标函数值能够充分的降低使得目标函数值能够充分的降低 但我们同时又希望不要付出太高但我们同时又希望不要付出太高 的计算代价，即不要搜索 ϕ(α)=f (x +αp )的全局最优解 4 k k k k 充分减少条件 (sufficient(sufficient decreasedecrease condition)condition) 如果选择步长如果选择步长αα仅使得目标函数仅使得目标函数 k 值下降是不够的 举例 f(x)=(x+ 1)2 x (k)=5/k, k=1,2,… 不能收敛到最优解不能收敛到最优解x=-11 由此引出由此引出 “充分减少充分减少”的概念的概念 5 充分减少条件 (sufficient(sufficient decreasedecrease condition)condition) 步长步长αα需要满足以下的需要满足以下的 “充分减充分减 少条件”[也称为Armijo 条件 (Armijo conditions)] 其中常量其中常量 cc1 (0(0,1)1) [[很小很小，例如例如 10-4] T 即f (x )的减少值与α和f (x ) p 成 k k k 正比比 6 充分减少条件 (sufficient(sufficient decreasedecrease condition)conditio