CAN-File-10-10-08-13-无约束优化_信赖域法.pptVIP

数学与系统科学学院 第07章 无约束优化：信赖域法 实用优化方法 第07章：无约束优化：信赖域法 Trust Region Methods for Unconstrained Optimization 常用记号 一个原型算法－模型函数是二阶泰勒展式/精确求解子问题 Levenberg-Marquardt方法－解的刻画/精确算法 基本信赖域法－Cauchy点/近似算法/收敛性问题(*) 一个信赖域原型算法 给定初始点x(0)和信赖域半径 △0 ，设x(k)处g(k) ≠0， 则第 k 次迭代： 信赖域： 信赖域子问题： (a) 给定x(k) 和△k ，计算 g(k) 和 G(k); (b) 解信赖域子问题，得解s(k)； (c) 计算 f (x(k)+s(k))和 (d) (e) 例 子 例 子(续) Lagrange乘子法 ) 线搜索法与信赖域法 原型算法－收敛性 定理. 对于所给的原型信赖域法，若算法产生的序列 {x(k)}有界，且 f(x) 二次连续可微。则序列 {x(k)} 必有聚点 x*满足一阶和二阶最优性条件，即 g*= 0 且 G* 半正定. 定理. 若上述定理中的聚点 x*还满足二阶充分条件，即G*正定，则 (b) 对充分大的k，信赖域约束 是非积极的， 且收敛速率是二次的. 信赖域型牛顿法！ 特点1：模型函数是二阶泰勒展式，且精确求解子问题，即 特点2：参数设置 Levenberg-Marquardt方法 解的刻画/求子问题的精确解 注：当B(k) = G(k)时，可以将牛顿型信赖域法理解成一种 特殊的修正牛顿法！ l2 范数信赖域子问题解的刻画 定理 s*是问题(1)的解当且仅当存在乘子 使得 且 半正定；另外，如果 正定，则 s*是问题(1)的惟一解. s* - g (1) Levenberg-Marquardt方法 算法7.2.1 Levenberg-Marquardt方法的原型算法. (i) 给定 x(k) 和 ，计算 g(k) 和 G(k); (ii) 分解 : 如果不正定的话，置 并重复 (iii) 计算 f (x(k)+s(k)) 和 且二者的改变方式相反 模型函数与目标函数的一致性好时，尝试扩大信赖域，或者尝试用更小的量进行修正；一致性差时，进行相反的操作！ 基本信赖域法 Cauchy点与近似方法 收敛性问题！ 近似求解子问题的算法 基本信赖域法－动机 需要构造模型函数(不一定是二阶泰勒展式, 见图5.3.1和算法5.3.1) 近似标准是什么？－Cauchy 点 可由各种拟牛顿更新公式构造！ 实用信赖域法需要解决的问题 对于大规模问题，需要设计近似求解子问题的算法 一般性的参数设置 基本信赖域法－算法描述 基本信赖域法-参数的典型值 实用算法的参数选取更精细：如给信赖域的半径设定上界！ 近似标准－Cauchy点 要求近似解满足：模型在近似解处所获取的预测减少量不比按最速下降迭代所获取的少！ 在线段上极小化二次函数－－非常容易！ ⊙ 实践中，我们希望(并且能够)比这做得更好 算法即是全局收敛的！ 柯西点! ⊙ Cauchy点： ⊙ 要求所选的步s(k)满足 近似标准－Cauchy点的图示 柯西点! ⊙ Cauchy点： 模型预测减少量的下界及全局收敛性 定理 模型在柯西点处所获取的减少量. 推论 推论 基本信赖域法的收敛性 近似求解信赖域子问题 ⊙ 精确方法－解标量方程－每次3-4个cholysky分解 ◇ dog-leg法(折线法)－解方程 ◇ 二维子空间极小化法 估计最小特征值＋求解三次代数方程 ◇ Steihaug-共轭梯度法 ⊙ 近似方法 ：找 s(k) 使得 l2 范数信赖域子问题 近似求解信赖域子问题(续) 问题： B 不定时，可能有 信赖域界约束 近似求解信赖域子问题(续) 引入两种新的终止情况： 终止于： 信赖域边界上！ 重要事实： 基本信赖域算法收敛到一阶临界(critical)点 Steihaug-Conjugate Gradient Method 算法 Steihaug-Conjugate Gradient Method 数学与系统科学学院 第07章 无约束优化：信赖域法 实用优化方法