第六章 最速下降法和牛顿法.pdfVIP

建模方法与应用建模方法与应用 主讲人：徐猛 北京交通大学交通运输学院 建模方法与应用 6. 求解无约束多变量极值问题 6.1 最速下降法 6.2 Newton 型法 建模方法与应用 6.1 最速下降法 1．基本思想 假设无约束极值问题的目标函数f (x) 有一阶连续偏导数，且具有极  k x x k k 1 小点 ；以 表示极小点的第 次近似，为了求其第 次近似点 k 1 k k k x x p x x p k ，在 点沿方向 作射线 + ， （ ）称为步长。现 0 k f (x) x 将 在 处作泰勒展开，有： f (x ) f (x k p k ) f (x k ) f (x k )T p k o （） 其中o （）是  的高阶无穷小。对于充分小的  ，只要 f (x k )T p k 0 （4 ） 即可保证f (x ) f (x k p k ) f (x k ) 。此时，若取 k 1 k x x p k （5 ） 就一定能使目标函数得到改善。 建模方法与应用 6.1 最速下降法 k k p p f (x k ) 0 现在考察不同的方向 ，假设 的模不为零，并设 （否 k k x p 则 是稳定点）；那么，使式（4 ）成立的 有无穷多个，为了使目标 k T k k f (x ) p p 函数能得到尽量大的改善，必须寻求能使 取最小值的 。 f (x k )T p k f (x k )  p k cos p k f (x k ) 由于 = ，当 与 反向 （即 0 f (x k )T p k p k f (x k ) cos180 1