第八章数值优化.ppt

牛顿方法原理 由单变量函数的二次逼近求极小值的方法推广而得，以有N个独立变量的二次多项式的极小值来近似代替目标函数f的极小值 对有N个独立变量的函数z=f (x1,x2,…,xN)而言，从初始点P0开始，递归构造出一个含N个变量的二次多项式序列 如果目标函数是良态的，并且初始点在实际极小值附近，则该二次多项式的极小值序列将收敛到目标函数f的极小值 黑森（Hessian）矩阵 定义8.5 设z=f(X)是X的函数，对于i, j=1, 2, ..., N, 存在。f 在X处的黑森矩阵是一个N×N矩阵 其中， i, j=1, 2, ..., N 例8.10 二阶泰勒多项式 定义8.6 f(X)在中心A处的二阶泰勒多项式为 设z=f (x1,x2,…,xN)的一阶和二阶偏导数存在，并在包含P0的一个区间内连续，f 在点P处有极小值。则 f 在P0的泰勒展开为 Q(X)是一个N变量的二阶多项式，它可能在▽Q(X)=0有极小值 由▽Q(X)=0得▽f(P0)+(X-P0)(H f(P0))T=0 若P0在点P（f的极小值点）附近，则H f(P0)可逆，则可求得X=P0 -▽f(P0)((H f(P0))-1) T 用P1代替上式中的X，得P1=P0-▽f(P0)((H f(P0))-1) T 上式中，用Pk-1代替P0，Pk代替P1，得 Pk=Pk-1-▽f(Pk-1)