(完整word版)牛顿法(word文档良心出品).docVIP

牛顿法 如前面所提到的，最速下降法在最初几步迭代中函数值下降很快外， 总的说来下降的并 不快，且愈接近极值点下降的愈慢。 因此，应寻找使目标函数下降更快的方法。牛顿法就是 一种收敛很快的方法，其基本思路是利用二次曲线来逐点近似原目标函数， 以二次曲线的极 小值点来近似原目标函数的极小值点并逐渐逼近改点。 一维目标函数f(x)在x(k)点逼近用的二次曲线(即泰勒二次多项式)为 (x(k)) f (x(k)) f (x(k))(x x(k)) 1 f (x(k))(x x(k))2 2 此二次函数的极小点可由 (x(k)) 0求得。 对于n维问题，n为目标函数f(X)在X(k)点逼近用的二次曲线为： (X(k)) f(x(k)) f(X(k)) .[X X(k)] 1[X X(k)]T. 2f (X(k)).[X X(k)] 2 令式中的Hessian 2f (X(k)) H(X(k))，则上式可改写为： f(X(k)) .[X X(k)] -[X X(k)]T.H(X(k)).[X X(k)] 2 f (X) (X) 0时可求得二次曲线 (X)的极值点，且当且仅当改点处的 为正定时有极小值点。 由上式得：   整理后得 1 X X(k) H(X(k)) f(X(k)) 当目标函数f (X)是二次函数时，牛顿法变得极为简单、有效，这时 常数矩阵，式 (X(k)) f(x(k)) f