[自然科学]10使用导数的最优化方法.ppt

令 10.4拟牛顿法 第2次迭代 10.4拟牛顿法 10.4拟牛顿法 令 10.4拟牛顿法 10.4拟牛顿法 得到 令 于是得最优解 10.4拟牛顿法 2 DFP算法的正定性及二次终止性 10.4拟牛顿法 证明:用归纳法 DFP方法中, H1是给定的对称正定矩阵. 设Hj是对称正定矩阵,下证Hj+1也是对称正定矩阵. 根据定义,对称性是显然的,下证正定性 (10.4.19) 10.4拟牛顿法 令 10.4拟牛顿法 则 于是(10.4.19)可写为 (10.4.21) 由Schwartz不等式,有 10.4拟牛顿法 (10.4.22) 考虑到一维搜索及方向的定义,(10.4.21)右端第一项 的分母 于是 10.4拟牛顿法 下证(10.4.22)和(10.4.24)不同时为0. 若不然,(10.4.22)为0,则p//q,即p=?q(??0). 从而 综上,知 10.4拟牛顿法 定理10.4.2 设用DFP方法求解下列问题 其中A为n阶对称正定矩阵.取初点x(1) ?En ,令 H1为n阶对称正定矩阵,则成立: 证明:对k归纳. k=1时有 10.4拟牛顿法 (10.4.27) 由于 代入(10.4.27)即得 即(10.4.26)成立. 当k=2时, 10.4拟牛顿法 由此结果,易证k=2时(10.4.26)亦成立 下设k=m时(10.4.25-26)成立,下证当k=m+1时 上述关系式也成立. 先证k=m+1时(10.4.25)成立. 由归纳假设,只需证: 由对(10.4.26)的归纳假设,当1?i?m时有 10.4拟牛顿法 由此有 (10.4.29) 根据Th10.3.2的推论,有 由(10.4.29),知 10.4拟牛顿法 再证当k=m+1时(10.4.26)成立 对于1?i?m+1有 (10.4.30) 当i=m+1时,由(10.4.28)知 将其代入(10.4.30)得 10.4拟牛顿法 当im+1时,根据关于(10.4.26)的归纳假设及当k=m+1 时(10.4.25)成立,考虑到(10.4.28),则有 从而可得 Q.E.D. 推论:在Th10.4.2的条件下,必有 10.4拟牛顿法 DFP方法中构造出来的搜索方向是一组A共轭方向 DFP方法具有二次终止性. 3 BFGS公式及 Broyden簇 10.4拟牛顿法 (10.4.33) 可得修正公式 ---关于矩阵B的BFGS修正公式 10.4拟牛顿法 (10.4.35) 上述公式由Broyden,Fletcher,Goldfarb,Shanno(1970)给出. 10.4拟牛顿法 定义 ---Broyden簇 显示表达式 10.4拟牛顿法 (10.4.37) 其中 (10.4.38) 10.4拟牛顿法 定理10.4.3 设 其中A为n阶对称正定矩阵. 则对于Broyden方法, 成立: 10.3共轭梯度法 注意,初始搜索方向选择最速下降方向十分重要, 如果选择别的方向作为初始方向,其余方向均按FR方法构造,则极小化正定二次函数时,这样构造出来的一组方向并不能保证共轭性. 例 考虑下列问题 取初始点和初始搜索方向分别为 10.3共轭梯度法 显然, 不是目标函数在 处的最速下降方向. 下面,我们用FR法构造两个搜索方向. 令 10.3共轭梯度法 根据公式(10.3.19),有 因此 10.3共轭梯度法 令 根据公式(10.3.19),有 10.3共轭梯度法 注意,在FR法中,初始搜索方向必须取最速下降方向 因此 10.3共轭梯度法 可以证明,对于正定二次函数,运用FR法时不作矩阵运算就能求出因子?i 定理10.3.4 对于正定二次函数,FR法中因子?i具有下述表达式 证明: 10.3共轭梯度法 10.3共轭梯度法 FR法(对二次凸函数) 10.3共轭梯度法 例3.2 用FR法求解下列问题 10.3共轭梯度法 令 第一次迭代， 目标函数f(x)在点x处的梯度 10.3共轭梯度法 第2次迭代 目标函数在点x 处的梯度 (2) 10.3共轭梯度法 构造搜索方向d .先计算因子? (2) 1 令 10.3共轭梯度法 10.3 共轭梯度法 一般迭代格式 3用于一般函数的共轭梯度法－非线性共轭梯度法 10.3共轭梯度法 ----PRP(Polak-Ribiere-Polyar -----SW(Sorenson-Wolfe ----Daniel -----Dixon 10.3共轭梯度法 FR共轭梯度法 10.3共轭梯度法 3,如果j n,转步4,否则,转5 可以证明,对一般函数,共轭梯度法在一定条件下是收敛的, 10.3共轭梯度法 FR算法中使用精确线搜索，我们有如下收敛性结果 4. 1 拟牛顿条件和算法步骤 10.4 拟