工程优化 信赖域方法.pptVIP

信赖域方法 基本思想 信赖域方法的模型子问题 信赖域半径的选择 信赖域算法 折线法基本思想 折线法算法原理(1970) 折线法算法原理(1970) 折线法算法原理(1970) 双折线法 (1979) * 信赖域方法是求解最优化问题的另一类有效方法。 其最初的设计思想可追溯至Levenberg和Marquart对Gauss- Newton法的修正。 线搜索方法是把一个复杂的最优化问题转化成一系列简单的一维寻优问题。 信赖域方法是把最优化问题转化为一系列相对简单的局部寻优问题。 牛顿法的基本思想是在迭代点 附近用二次 函数逼近 并以 的 的极小点 修正 得到： 以上方法只能保证算法的局部收敛性， 为了建立全局收敛性 算法， 阻尼Newton法采用线搜索技术。 虽然这种策略是成功的，但它有一个缺点，即没有进一步利用二次模型。 信赖域方法是另一种新的保证算法全局收敛的方法。 其中 是Hesse阵 的近似 为信赖域半径． 注： (1) 这种方法既具有牛顿法的快速局部收敛性，又具有 理想的全局收敛性。 (2) 不要求目标函数的Hesse阵是正定的。 (3) 利用了二次模型来求修正步长， 使得目标函数的下降比 线性搜索方法更有效。 (4) 由于步长受到使Taylor展开式有效的信赖域的限制， 故方法又称为有限步长法。 根据模型函数 与目标函数 的拟合程度来调整 信赖域半径 给定问题(1)的解 定义比值： 它衡量模型函数 与目标函数 的一致性程度。 注： (1) 越接近于１， 表明模型函数 与目标函数 的 一致性程度越好， 可以增大 以扩大信赖域。 (2) 不接近于１， 可以保持 不变。 (3) 接近于零或取负值， 表明 与目标函数 的 一致性程度不好， 可以减小 以缩小 信赖域． 步骤1: 给出 信赖域半径的上界 步骤2: 如果 停止． 步骤3: 求解子问题(1)得到 步骤4: 计算 和 令： 步骤5: 校正信赖域半径，令： 步骤6: 产生 校正 令 转 步骤2 注： 参数建议取： 信赖域子问题 如果令信赖域的半径 在区间 内连续变化， 则问题(1)的解 在空间 中形成一条光滑的连续曲线， 记为 此时， 问题(1)等价于在信赖域内并且在最优曲线 上确定一点使二次函数 取极小，即 由于最优曲线的确定需要计算矩阵 的所有特征值 和特征向量， 相当费时。 折线法：用低维空间内满足一定要求的折线，记为 代替最优曲线。通过求解： 得问题(1)的近似解 注： 1: 求解(2)的一个突出特点在于： 近似折线 一经确定， 对于给定的 无需再解任何线性方程组，即能相当有效 地确定问题(1)的近似解。 2： 构造近似最优曲线 的折线时， 一般应满足： 当点 从 出发沿着折线前进时: (P1) 点 到 的距离单调增； (P2) 函数值 严格单调降； 性质(P1)确保对任意给定的 折线上的近似解惟一。 性质(P2)确保在折线上所确定的近似解 能满足收敛性 定理的条件。 连接Cauchy点(由最速下降法产生的极小点C.P.)和牛顿点(即 由牛顿法产生的极小点 ）, 其连线与信赖域的边界的交点 取为 显然, Cauchy点：由最速下降法产生的极小点，记为C.P. Newton点： 由牛顿法产生的极小点，记为 折线 称为单折线． 连接Cauchy点(由最速下降法产生的极小点C.P.)和牛顿点(即 由牛顿法产生的极小点 ）, 其连线与信赖域的边界的交点 取为 显然, Caushy点和Newton点的表达式？ 精确一维搜索求最佳步长 Cauchy步为： Caushy点： 令 得 Caushy点为： Newton步为： Newton点： Newton点为 其中 由方程 得到。 Cauchy步为： Caushy点为： Newton步为： Newton点为 当Newton步的长度 时， 当 取 时， 综上： 让信赖域迭代中产生的点偏向牛顿方向， 于是把Cauchy点和牛顿方向上的 点连接起来， 并将这条连线与信赖域边界的交点取为 称为双折线． 在双折线情形下： 其中 一般取