CAN-File-10-10-08-13-无约束优化_线搜索法166.pptVIP

例 预条件共轭梯度法－算例 G是15×15 的对角矩阵，且 gii=i, i =1, ..., 15 C是15×15 的对角矩阵，且 M=CTC是15×15 的对角矩阵，且 预条件共轭梯度法－算例的结果 共轭梯度法－实用预条件子 目前研究的热点－寻求较好的预条件子 构造M使得 ⑴ M对称正定 (2) M-1G良态或极端特征值的数目少 (3) My=g 易于求解 ⊙ 特殊矩阵有好的预条件策略(PDEs离散化后所得) ⊙ 一般矩阵的预条件策略 ◇ 对称连续超松弛(SSOR) ◇ 不完全Cholesky分解(*****) ◇ 带状预条件子 拟牛顿法 Quasi-Newton Method 拟牛顿法－概述(*****) 假设 B(k) 满足割线/拟牛顿方程 ： B(k)s(k-1)=y(k-1), 其中 s(k-1)=x(k)-x(k-1) , y(k-1)=g(k)-g(k-1) 优点(与牛顿法相比)：只需一阶导数；每次迭代只需 O(n2)次乘法运算；H(k)正定蕴含着下降性. 拟牛顿方向： 拟牛顿法的第 k 步迭代：令H(k)=(B(k))-1 置 沿 p(k) 作线搜索得到 修正 H(k) 得到 H(k+1). 拟牛顿法－割线方程 易见： 处的梯度是g(k)，即 记 割线(secant)方程/ 拟牛顿方程 其中H(k+1)=(B(k+1))-1. 拟牛顿法－曲率条件 B(k+1) 既满足割线方程又要保持正定所必需的条件： 曲率条件(curvature condition) 强Wolfe准则 Wolfe准则 步长满足Wolfe准则或者强Wolfe准则***** 拟牛顿法－简介 ⊙ 1950s中期(1959年)，美国Argonne国家实验室的物理学 家W.D. Davidon提出第一个拟牛顿法(革命性思想) ； Fletcher和Powell(1963年) 证明新算法比其它现有方法 更快更可靠－－DFP法(+精确线搜索)； 1991之前， Davidon的工作一直是一篇工作报告， 　 Variable Metric Method for Minimization， Vol.1, No.1, pp.1-17, 1991, SIAM J. Optimization ⊙ 目前：最有效的拟牛顿法－－BFGS法(+非精确线搜索) Broyden, Fletcher, Goldfarb和Shanno(1970) ⊙ 推广：有限内存BFGS方法求解大规模无约束优化； 将SR1和BFGS法的修正技术用在约束优化问题的算法中. 拟牛顿法－DFP法 得 目的：在H(k)正定的前提下，给出切实可行的更新公式使得H(k+1)既满足割线方程，又正定！ 令 对称秩2校正： 拟牛顿法－DFP法(续) DFP法(续)：应用两次SMW公式，有 其中 Sherman-Morrison-Woodbury公式 Karmarka内点法： 拟牛顿法－BFGS法 令 目的：在H(k)正定的前提下，给出切实可行的更新公式使得H(k+1)既满足割线方程，又正定！ 对称秩2校正： 得 拟牛顿法－BFGS法(续) 连续两次应用SMW公式 得 其中 ⊙ 计算搜索方向不用计算二阶导数；计算量 拟牛顿法－BFGS法(续) 注：使用满足Wolfe准则的线搜索，且每次先试1是否满足； ⊙ 适当的条件下是超线性收敛的 需要修改算法的编号！ 算法 6.3.1 BFGS Method. 拟牛顿法－－DFP和BFGS法的性质 定理. 假设y(k)Ts(k)0，且H(k)正定，则由DFP和BFGS校正得到的矩阵H(k+1)也是正定的. (a) 割线方程对以前的搜索方向都成立，即 (b) 如果H(0)=I，则搜索方向是共轭的，即 (c) 至多迭代 n 步即收敛；如果迭代了n 步，则H(n)=G-1. 定理. 假设将DFP法和BFGS法应用于二次函数 设x(0)是任意的初始点，H(0)是任意的 n 阶对称正定矩阵，步长取精确步长，则以下结论成立： 拟牛顿法－－DFP和BFGS法的性质(续) 加权Frobenius范数： 如果要求 ，比如 ，其中 则上述优化问题的惟一解是BDFP(k+1); DFP法的最小性质： BFGS法的最小性质： 如果要求 ，比如 ，其中 则上述优化问题的惟一解是HBFGS(k+1); 加权Frobenius范数： 拟牛顿法－－DFP和BFGS法