信赖域方法.pptVIP

信赖域方法 基本思想 基本思想 信赖域方法的模型子问题 信赖域半径的选择 信赖域算法 折线法基本思想 折线法算法原理(1970) 双折线法 (1979) 信赖域方法 信赖域方法是求解最优化问题的另一类有效 方法． 其最初的设计思想可追溯至Levenberg和 Marquart对Gauss－Newton法的修正． 线搜索方法是把一个复杂的最优化问题转化 成一系列简单的一维寻优问题． 信赖域方法是把 最优化问题转化为一系列相对简单的局部寻优 问题． 牛顿法的基本思想是在迭代点 附近用二次 函数逼近 并以 的 的极小点 修正 得到： 以上方法只能保证算法的局部收敛性， 为了建 立总体收敛性算法， 我们采用了线搜索技术． 虽然 这种策略是成功的， 但它有一个缺点， 即没有进一 步利用二次模型． 牛顿法的基本思想是在迭代点 附近用二次 函数逼近 并以 的 的极小点 修正 得到： 以上方法只能保证算法的局部收敛性， 为了建 立总体收敛性算法， 我们采用了线搜索技术． 虽然 这种策略是成功的， 但它有一个缺点， 即没有进一 步利用二次模型． 信赖域方法是另一种新的保证 算法总体收敛的方法． 其中 是Hesse阵 的近似 为信赖域半径． 注： (1) 这种方法既具有牛顿法的快速局部收 敛性， 又具有理想的总体收敛性． (2) 不要求目标函数的Hesse阵是正定的． (3) 利用了二次模型来求修正量， 使得目标函数 的下降比线性搜索方法更有效． (4) 由于步长受到使Taylor展开式有效的信赖 域的限制， 故方法又称为有限步长法． 根据模型函数 对目标函数 的拟合程度 来调整信赖域半径 对于问题(1)的解 定义比值： 它衡量模型函数 与目标函数 的一致性 程度． 注： (1) 越接近于１， 表明模型函数与目标 函数的一致性程度越好， 可以增大 以扩大 信赖域． (2) 不接近于１， 可以保持 不变． (3) 接近于零或取负值， 表明模型函数与目标 函数的一致性程度不好， 可以减小 以缩小 信赖域． Step1: 给出 信赖域半径的上界 Step2: 如果 停止． Step3: 求解子问题(1)得到 Step4: 计算 和 令： Step5: 校正信赖域半径，令： Step6: 产生 校正 令 转 Step2 注： 参数建议取： 信赖域子问题 如果令信赖域的半径 在区间 内连续 变化， 则问题(1)的解 在空间 中形成一条光 滑的连续曲线， 记为 此时， 问题(1)等价于 在信赖域内在最优曲线 上确定一点使二次函 数 取极小， 即： 由于最优曲线的确定需要计算矩阵 的所有 特征值和特征向量， 相当费时． 折线法在于用低维空间内满足一定要求的 折线， 记为 代替最优曲线． 通过求解： 得问题(1)的近似解 注： (1) 求解(2)的一个突出特点在于： 近似折线 一经确定， 对于给定的 无需再解任何线性 方程组， 即能相当有效的确定问题(1)的近似解． (2) 构造近似最优曲线 的折线时， 一般应满足 下面基本要求： 当点 从 出发沿着折线前进时: (P1) 点 到 的距离单调增； (P2) 函数值 严格单调降； 性质(P1)确保对任意给定的 折线上的近似 解惟一． 性质(P2)确保在折线上所确定的近似解 能 满足收敛性定理的条件． 连接Cauchy点(由最速下降法产生的极小点C.P.) 和牛顿点(即由牛顿法产生的极小点 ）, 其连线 与信赖域的边界的交点取为 显然, 当牛顿步 的长度 时， 就取为 对二次模型： 精确线搜索下 Cauchy步为： 若 取 若 再计算牛顿步 若 取 否则取 其中 由方程 得到． 综上： 让信赖域迭代中产生的点偏向牛顿方向， 于是把Cauchy点和牛顿方向上的 点连接起来， 并将这条连线与信赖域边界的交点取为 折线 称为单折线． 把 称为双折线．