第四讲 多维无约束最优化Newton法、最速下降法.ppt

多维最优化的Newton法 令梯度函数的线性化主部为0： 优点：具有二次终结性，收敛快 缺点：计算量大（求导数和解方程组）要求Hessen 阵正定， Hessen 阵病态时更糟糕；非下降算法不保证 f(xk+1) f(xk) Newton法流程图 改进Newton法 限步长Newton法： 其中选 ? 使f(xk+1) f(xk) 从而不需要Hessen矩阵是正定的。 信赖域法 其中， 足够大使得上式中的逆矩阵存在。 改进Newton法 Gill-Murray方法：在 处 计算 ，如果 ＝0，停止，否则 计算 ，作强迫正定Cholesky分解 解方程组 得下降方向 从 出发沿方向 作一维搜索，得 。 Rosenbrock function 二次型目标函数的Newton法 最速下降法 沿着梯度方向，函数值改变最大 最速下降法： 特点：全局收敛，线性收敛，易产生扭摆现象而造成早停。（当x(k)距最优点较远时，速度快，而接近最优点时，速度下降），现已较少单独使用。 最速下降法流程图 Goldstein-Price算法 综合使用最速下降法和Newton法 Goldstein-Price算法流程图(I) Goldstein-Price算法流程图(II) 例子 例 算法对严格凸函数具有超线性收敛性 Q是Hessen阵的近似 共轭梯度法 共轭方向法具有二次收敛性。 如果能利用梯度来构造共轭方向，可以预计算法更简便、收敛更快。 缺点是依赖于一维搜索的精度。 共轭梯度法流程图 共轭梯度法的几种形式 共轭梯度法的特点 全局收敛（下降算法）；线性收敛； 每步迭代只需存储若干向量（适用于大规模问题）； 有二次终结性（对于正定二次函数，至多n次迭代可达opt.） 对不同的βk 公式，对于正定二次函数是相等的，对非正定二次函数，有不同的效果，经验上PRP效果较好。 例子 例1 Rosenbrock function 拟Newton法（变尺度法） 统一的迭代格式 尺度矩阵 是变化的，k=0时为单位矩阵I，k趋向于无穷时极限为H-1，Hessen矩阵的逆。 尺度矩阵 满足如下的拟Newton方程 的构造： 的不同选取构成了不同的拟Newton方法族 * * x(1), ε 0, k=1 ▽2f(x(k)) S= -▽f(x(k)) 得 s(k) , x(k+1)=x(k)+s(k) || s(k) || ε? STOP.x(k+1)—l.opt Yes No k=k+1 实用中，判断 若▽2f(x(k)) 非正定时 进行相应处理 x(1), ε 0, k=1 || ▽f(x(k) ) || ε? Yes stop. x(k) –解 No d(k)= －▽f(x(k) ) 解 min f(x(k)+λ d(k)) s.t. λ 0 得 x(k+1)=x(k)+λkd(k) k=k+1 给定r0,0 ? 1/2, Ii是单位阵的第I列，b0=r, k=1 y n x(1), ε 0 d(1)=-▽ f(x(1)),k=1 k=k+1 k=1 ||▽ f(x(k))|| ε? Stop.x(k)—解 解 min f(x(k)+λ d(k)) s.t. λ 0 得 λ k x(k+1)=x(k)+λk d(k) k=n? x(1)=x(n+1) d(1)=-▽ f(x(1)),k=1 求β k d(k+1)= -▽ f(x(k+1))+β kd(k) y N y N 重新开始 *