工程优化第4章-3探究.pptVIP

Newton法和阻尼Newton法具有收敛速度快的优点，但 需要计算Hesse矩阵的逆， 计算量大，存储量也很大。 变尺度法----一类特殊的拟Newton法 为减少计算量，用一个n阶对称正定矩阵Hk近似代替Hesse 矩阵的逆 ，即 ，从而搜索方 向是 ，由此搜索方向产生的方法称为变尺度法， Hk称为尺度矩阵，这是一种拟Newton法，被认为是无约束优 化问题中最有效的方法之一。 所谓拟Newton法是指由Newton法的思想出发产生的一类方法。 变尺度法----一类特殊的拟Newton法 变尺度法的计算步骤 步骤1. 任取初始点x1,初始尺度矩阵H1,令k=1. 步骤2. 计算 步骤3. 利用精确一维搜索找最佳步长 ， 步骤4. 令 ，转步骤2。 其中 称为修正矩阵。 不同的修正矩阵，对应着不同的变尺度法。 x1, H1对称 ε0, k=1 dk=- Hk▽f(xk) 一维搜索得λk xk+1=xk+ λk dk ||xk+1-xk|| ε? 修正Hk产生Hk+1 Stop. xk+1----解 k=k+1 y N 变尺度法的算法框架 构造 Hk的原则 变尺度法的关键在于如何构造Hk，为了使算法有 较快的收敛速度，需要满足以下几个原则： 拟牛顿性质， 二次收敛性， 稳定性。 变尺度法----一类特殊的拟Newton法 构造 Hk的原则 拟牛顿性质 在 点处对函数 作二阶 Tayloy展开： 变尺度法----一类特殊的拟Newton法 略去高阶项 在xk+1 附近，函数两端求导，得 令 可得 记 变尺度法----一类特殊的拟Newton法 Hesse矩阵 对称正定，又有 变尺度法----一类特殊的拟Newton法 称(3)或(4)为拟Newton方程 构造 Hk的原则----拟牛顿性质 当 时， 为了利用不包含二阶导数的矩阵Hk取代 Hk+1满足 构造 Hk的原则----拟牛顿性质 变尺度法----一类特殊的拟Newton法 拟牛顿方程（或条件） , Hk+1 不唯一。 当f是二次函数时 当f是二次函数时 构造 Hk的原则----二次收敛性 把算法用于正定二次函数时，至多n次达到极小点。 变尺度法----一类特殊的拟Newton法 构造的搜索方向 p1, p2, …, pn是一组A 共轭 向量且Hn+1=A-1. 一个算法若不计算过程的舍入误差，在迭代的每一 步都能选择步长使函数单调下降，则称此算法是稳定的。 变尺度法----一类特殊的拟Newton法 构造 Hk的原则----稳定性 若方向 是f(x)在点xk处的下降方向，则每一 迭代步总可以找到一个充分小的正数使得函数值下降， 即算法是稳定的。 迭代方向是下降方向，是保证算法稳定性的一个充分条件。 变尺度法----一类特殊的拟Newton法 构造 Hk的原则----稳定性 迭代方向是下降方向，是保证算法稳定性的一个充分条件。 什么条件能使迭代方向是下降方向？ 即使得 Hk对称正定 依据三个原则： 拟Newton方程、二次收敛性和算法稳定性， 要求Hk满足： 拟Newton方程、 对称正定、 且针对正定二次函数， 是一组共轭方向组。 变尺度法----一类特殊的拟Newton法 Hk构造的要求 构造这样一个对称正定的近似矩阵Hk的一般策略是： (1) H1取为任意一个n阶对称正定矩阵，通常选取为n阶单位 矩阵 I; (2) 然后通过修正