拟牛顿法PPT课件.pptVIP

先证k=m+1时（10.4.24）成立。 当1=i=m时，有 由此得出： 因为有 证得 再证k=m+1时（10.4.25)成立。 对于1=i=m+1时有 当i=m+1时，因为Ap(m+1)=q(m+1)，代入上式得到 当im+1时，有Hm+1Ap(i)=p(i)成立及p(i)TAp(m+1)=0（已证）。在式（10.4.29）中有 同时，把（10.4.29）中的Ap(i)乘入括号内，则有 从而证得定理10.4.2 成立。 推论 根据证得的定理10.4.2，必有Hn+1=A-1。 证： 令D=（p(1),p(2),.....,p(n))，由（10.4.25）得Hn+1AD=D。 由于p(1),p(2),.....,p(n)是一组关于A共轭的非零向量，因此它们是线性无关的，从而D是可逆矩阵。故Hn+1A=I。 所以Hn+1=A-1。 由于p(i)=λid(i),因此p(1),p(2),.....,p(k)关于A共轭等价于d(1),d(2),...,d(k),关于A共轭。可见DFP方法中构造出来的搜索方向是一组A共轭方向，DFP方法具有二次终止性。 关于DFP方法用于一般函数时的收敛性，有如下结论： 如果f是Rn上的二次连续可微实函数，对任意的 存在常数m0，使得当 时，有 则DFP方法产生的序列{x(k)}或终止于或收敛于f在Rn上的惟一极小点。 这个结论的分析证明可参见文献[19,24] BFGS公式及Broyden族 BFGS修正公式 DFP公式 （10.4.31） 1、BFGS公式 数值计算表明，比DFP公式好。 （10.4.34） Sherman-Morrison公式 2、Broyden族 Broyden族的所有成员均满足拟牛顿条件。 （10.4.35） 将（10.4.17）式和(10.4.34)式代入(10.4.35)式，得到Boryden族的显式表达 （10.4.36） （10.4.37） 定理10.4.3 设 其中A为n阶对称正定矩阵，则对于Broyden方法，成立 定理10.4.2的推广 证明方法与定理(10.4.2)的证明类似，这里从略。 特 点 优点： 不必计算Hesse矩阵。 当Hk0时，算法产生的方向均为下降方向，具有二次终止性。 缺点： 存储量较大。 拟牛顿法是无约束最优化方法中最有效的一类算法。 拟牛顿方法 对称， 正定 拟牛顿条件 牛顿： 拟牛顿： 秩1公式 DFP算法 Davidon(1959), Fletcher-Powell(1963) DFP 方法 BFGS公式 BFGS 方法： (最常用的方法） Broyden(1970), Fletcher(1970), Goldfarb(1970), Shanno(1970) 总结 简单的“拟”可以是革命性的进步! 欢迎同学批评指正！ * 拟牛顿法 目录 引论 拟牛顿条件 秩1校正 DFP算法 1 2 3 4 BFGS公式及Broyden族 5 无约束优化问题 引论 线搜索方法 dk ：搜索方向 （下降就可）： dk ▽f(xk) 0 ： 搜索步长： 达到最小 搜索方向 最速下降法： 共轭梯度法： 牛顿法： 牛顿方向 牛顿方向 是如下问题的解 牛顿法的优缺点 收敛快 －－－ 二次收敛 程序简单 计算量大 －－－ 需要二阶导数 要求高 －－－ 需要二阶导数 需要计算Hesse矩阵，而此矩阵可能非正定， 可能导致搜索方向不是下降方向。 找替代牛顿法的方法 目标： 收敛快 程序简单 同时 不需要二阶导数 找： 像牛顿 又不是牛顿 的家伙！！！ 基本思想： 用不包含二阶导数的矩阵近似Hesse矩阵的逆。 拟牛顿条件 （10.4.6） （10.4.5） （10.4.1） （10.4.7） 秩1校正 DFP(Davidon-Fletcher-Powell)算法： 秩2校正 BFGS(Broyden-Fletcher-Goldfarb-Shanno)公式及Broyden族 校正矩阵 （10.4.8） 秩1校正 秩为1 （10.4.9） （10.4.10） （10.4.12） （10.4.11） （10.4.13） 注释 在一定条件下，收敛且具有二次终止性。 无法保证Hk的正定性；即使能，也有可能导致△Hk无界。 利用秩1校正极小化函数f(x)时，在第k次迭代中，令搜索方向 然后沿d(k)方向搜索，求步长 ,满足 从而确定出后继点 求出点x(k+