第四章quasi_newton.pptVIP

* 4. 拟牛顿算法(quasi-Newton) 方法的提出背景 基于二次模型 　　但每次迭代均需经过矩阵的分解及线性方程组的求解 以得到搜索方向，这个过程所需工作量可达n3数量级， 这就导致当问题维数n较大时计算量迅速增加，从而抵消 了牛顿法的优点。 回顾 牛顿法的推导过程 得到如下的迭代公式 * 为消除牛顿迭代： 拟牛顿法的基本思想 又 -Hkgk无非是确定了第k+1次迭代的搜索方向，所以，为获得更大的灵活性，可将上式换为更一般的迭代格式： 其中tk是由e.l.s.确定 中Gk-1引起的计算量的增大和可能引进的算法不稳定，我们考虑用一个近似矩阵Hk 加以替代。 * 为使矩阵Hk更加容易计算，加以如下限制 ①矩阵序列{Hk}中每一个都是对称正定阵 　与牛顿法中的Gk均正定保持一致； 保持搜索方向d(k)=-Hkgk为下降方向。 ②要求由Hk导出Hk+1的迭代形式应非常简单 显然　Hk+1=Hk+Ek就是最简单的形式了， 其中Ek称为校正矩阵，此式就称为校正公式 Hk的推导 原因 * ③满足拟牛顿条件 Hk+1要作为Gk+1-1的近似,从而 记 设f(x)具有连续的二阶偏导数，由Taylor展式 两边求导 从而 一般函数的新旧梯度关系 拟牛顿条件 * Hk+1=Hk+Ek 　根据Ek的确定公式的不同就可推出不同的算法 DFP算法(Davidon,Fletcher,Powell) SRI算法(Symmetric Rank I,Broyden) Broyden族算法 * 取校正矩阵 DFP算法的推导 (其中?k、?k为待定实数，u(k),v(k)为待定向量) 由 可简单地，令 向量两两相等 进一步，可限定 对称秩2校正 * 从而可求得四个未知量如下： 代入，得到Hk+1的校正公式为： * 问题：{Hk}是否保持正定？ DFP算法框架 已知目标函数f(x),梯度g(x),任意初始点x(0) ， g0=g(x0) (i)置H0=I, d(0)=- g0, k:=0; (ii)e.l.s.: x(k+1)=x(k)+tkd(k), 计算gk+1=g(x(k+1) ) ; (iii)判断是否终止。若满足，则终止。 否则　 y(k)= gk+1 - gk s(k)=x(k+1)-x(k) Hk+1=Hk+……(DFP公式) d(k+1)=－Hk+1 gk+1 (iv)置k:=k+1,转(ii) 。 * DFP算法的性质(1) 若x(k)不是极小点,Hk正定，则必有s(k)Ty(k)0 0 ( x(k)不是极小点故gk ≠0，又 d(k)是下降方向 故非极小点的x(k)必可沿d(k)下降一段,从而tk0) Proof * DFP算法中若初始矩阵正定，则{Hk}中每一个都正定 Proof (数学归纳法) (1) k=0时，H0正定； (2) 设k=m时Hm正定，以下来证Hm+1也是正定的。 　 即 对于任意的z,当z ≠0时，总有 而 DFP算法的性质(2) * 因 Hk正定，所以可有 　 Hk=CkTCk ,其中Ck为 可逆阵 从而： zTHkz=zTCkTCkz=(Ckz)T(Ckz)=pTp y(k) Thky(k)=(Cky(k))T(Cky(k))=qTq zTHky(k)=(Ckz)T(Cky(k))=pTq * 现证明两项不能同时为零。 当第一项为零时，p= ?q ，即Ckz= ?Cky(k) 从而　z= ?ym,　第二项＝ ?2 y(k)TS(k) ＞0 0 ≥ 0 ≥0 ( xTy≤||x||.||y|| ) * SRI算法(Symmetric Rank I,Broyden) 算法推导 取校正矩阵 　　　Ek=?ku(ku(k)T　　　(对称秩1校正)　　 其中?k为待定实数，u(k)为待定向量 简单地，直接 令向量相等： 由 从而 * 两个待定向量为 * 优点 　　　与DFP校正公式相比要简单； 　　　计算量要稍微少 　　　二次终止性。 缺点 　　　{Hk}不能保证正定性 　　　　　　(这样由它生成的方向就未必是下降方向) 　分母可能为0或与0接近，从而数值不稳定。 南京大学对此提出修正方案OS算法， 专家评价效果很好，可与BFGS媲美。 SRI算法评价 * Broyden族算法 取校正矩阵 　　　　Ek=s(k)u(k) T-(Hky(k))v(k) T 其中u(k),v(k)为待定向量 简单地，取如下值 u(k)Ty(k)=1 v(k) Ty(k) =1 算法推导 s(k)·u(k) Ty(k)-(Hky(k))v(k) Ty(k)=s(k)-Hky(k) 从而 只要u(k),