牛顿迭代法讲解.ppt

牛顿迭代法 1.背景 一维搜索：本身可以用来解决科学和实践中的许多一维最优化问题,但它更多的是作为一种加速算法收敛的手段,用来与多维优化方法相结合以求解众多的多维优化问题。 精确一维搜索 不精确一维搜索 基本思想：将非线性方程线性化，以线性方程的解逼近非线性方程的解。 原理：取 x0 ? x*，将 f (x) 在 x0 处做一阶Taylor展开: ? 在 x0 和 x 之间，取 ，可将 (x* ? x0)2 看成高阶 小量，则有： 2.基本思想与原理 x y x* x0 只要 f ?C1，每一步迭代都有 而且 ，则 x*就是 f 的根。 是如下线性方程的根！ 这个是个什么约束呢？ 3.几何解释 方程 的根 在几何上是曲线 x轴的交点的横坐标。若 是根 的一个近似，过曲线上横坐标为 的点 作曲线 的切线，则该切线与 x 轴交点的横坐标即为 。 其中 ，则 收敛 由泰勒展开： 在单根附近收敛快！ ? 只要 ，则令 可得结论。 证明： 牛顿迭代法事实上是一种特殊的不动点迭代 在 和 之间 3.牛顿迭代法的改进 ? 重根 Q1: 若　　　 ，牛顿迭代法是否仍收敛？ 设 x* 是 f 的 n 重根，则： 且 。 因为牛顿迭代法事实上是一种特殊的不动点迭代， 其中 ，则 A1: 有局部收敛性，但重数 n 越高，收敛越慢。 Q2: 如何加速重根的收敛？ A2: 根的重数已知，可将 f 的重根转化为另一函数的单根。 令　　　　　，则 f 的重根是 ? 的单根，且 从而可构造出相应的迭代法格式为 对 构造出相应的牛顿迭代格式，迭代函数为 若已知根的重数为 n，可将迭代格式改为， 则 ，所以上述格式是平方收敛的。 优点：收敛速度快，稳定性好，精度高 缺点：在重根附近收敛速度会降阶；每次都要计算函数及其导数值，计算量大。 注解：牛顿法是局部收敛的，所以要求初值选在解的附近，实际计算时，常先用简单迭代法算几步，估计出一个质量较好的初值！！ 4.优缺点 收敛比牛顿迭代法慢，且对初值要求同样高。 x0 x1 切线 割线 切线斜率　?　割线斜率 需要2个初值 x0 和 x1。 基本思想：牛顿迭代法每一步要计算 f 和 ，为了避免计算导数值，现用 f 的差商近似代替微商 ，从而得到弦割法。 x2 5.牛顿迭代法的改进——弦割法