拟牛顿法-王超.pptVIP

DFP算法 介绍及计算步骤 举例说明 DFP的两个性质 拟牛顿法——中 任课老师：邹斌教授 主讲人：王超 学号一、DFP算法 DFP方法又叫变尺度法。DFP中定义校正矩阵为 得到的矩阵 10.4.17称为DFP公式。 DFP方法的计算步骤： （1）给定初始点 ,允许误差ε0。 （2）置 (单位矩阵），计算出在x(1)处的梯度g1，置k=1。 （3）令 。 （4）从x(k)出发，沿方向d(k)搜索，求步长λk，使它满足 令 （5）检验是否满足收敛准则，若 时则停止迭代，得到点 ；否则，进行步骤（6）。 （6）若k=n,则令 ，返回步骤（2）；否则，进行步骤（7）。 （7）令 。利用（10.4.17）计算Hk+1,令k=k+1，返回步骤（3）。 例10.4.1 用DFP方法求解如下问题： 解： 初始点及初始矩阵分别取为： 点x=x(x1,x2)T的梯度及在x（1）处的梯度： 从x（1）出发沿d（1）做一维搜索： 得到λ1=5/18。 令搜索方向为 令 得到 算出 根据DFP定义的ΔHk，得 令 从x（2）出发，沿方向d（2）搜索： 得到λ2=17/36。 从而求得 与 从而得到最优解 二、DFP算法的正定性及二次终止性 DFP方法构造的矩阵Hk是对称的正定矩阵 搜索方向 均为下降方向 每次迭代使函数值有所下降 定理1 若gi≠0(i=1,2,....,n)，则DFP方法构造的矩阵Hi(i=1,2,,.....,n)为对称正定矩阵。 1、正定性 证明： 思路：归纳法。因为在DFP方法中H1给定的n阶单位阵，只要假设Hj是对称正定阵成立，证明Hj也是对称正定阵。 对任意非零量 ， 因为Hj是对称正定阵，故存在对称正定阵Hj1/2,使得 令 则有 根据以上三式，将（10.4.18）写成如下： 根据Schwartz不等式 故有 ，从而 由于λj0,gj≠0,Hj正定，从而 接下来证明（10.4.20）等式右端两项不能同时为零。 假设第一项为零，则p平行于q，即p=βq，（β为非零常数） 故y=βq(j)，所以yTp(j)=βq(j)Tp(j). 因为p(j)Tq(j)0,所以(yTp(j))20，所以等式右端第二项大于零。 通过以上证明，yTHj+1y0，Hj+1为正定矩阵。 将 代入上式得到 2、二次终止性 定理10.4.2 设用DFP方法求解下列问题： 其中A为n阶对称正定矩阵。取初点x(1)属于Rn，令H1是n阶对称正定矩阵，则成立 证明： 思路：归纳法。用k归纳。先证k=1、2时两式成立，再假设k=m时两式成立，证明k=m+1时也成立。 把（10.4.27）令i=1代入（10.4.26），得到 即（10.4.25）在k=1时成立。 当k=2时， （10.4.24）成立。 先证k=m+1时（10.4.24）成立。 当1=i=m时，有 由此得出： 因为有 证得 再证k=m+1时（10.4.25)成立。 对于1=i=m+1时有 当i=m+1时，因为Ap(m+1)=q(m+1)，代入上式得到 当im+1时，有Hm+1Ap(i)=p(i)成立及p(i)TAp(m+1)=0（已证）。在式（10.4.29）中有 同时，把（10.4.29）中的Ap(i)乘入括号内，则有 从而证得定理10.4.2 成立。 推论 根据证得的定理10.4.2，必有Hn+1=A-1。 证： 令D=（p(1),p(2),.....,p(n))，由（10.4.25）得Hn+1AD=D。 由于p(1),p(2),.....,p(n)是一组关于A共轭的非零向量，因此它们是线性无关的，从而D是可逆矩阵。故Hn+1A=I。 所以Hn+1=A-1。 由于p(i)=λid(i),因此p(1),p(2),.....,p(k)关于A共轭等价于d(1),d(2),...,d(k),关于A共轭。可见DFP方法中构造出来的搜索方向是一组A共轭方向，DFP方法具有二次终止性。