优化论.docVIP

Newton算法基本原理 为寻求收敛速度快的算法，我们考虑在应用基本迭代公式中，每轮迭代在迭代在迭代的起始点处用一个适当的二次函数来近似的目标函数，由此用点指向近似二次函数极小值点的方向来构造搜索方向。 下面具体讨论Newton法： 设最优化问题为minf(X),其中f：二阶可导，Hesse矩阵正定。 不妨设经过k次迭代已获得点，现将f(x)在x=处展开二阶泰勒公式，于是有显然Q（x）是二次函数，特别有假设知Q(x)还是正定二次函数，所以Q（x）凸函数且存在唯一全局极小值点，令即可解得亦即对照基本迭代公式易知，上式中的搜索方向，步长因子=1，换句话说从点出发沿搜索方向并取步长=1即可得Q（x）极小值点.因此，是直指点处近似二次函数 Q（X）的极小值点的方向，此时称 为从点出发的Newton方向。从初始点开始，每一轮从当前迭代点出发，沿Newton方向并取步长=1的算法称为Newton法。 二．Newton迭代步骤 已知函数f（x）及g（X），Hesse矩阵G（X），终止限。 选定初始点；计算= , ;置k=0； 计算 由方程解出 计算 判别终止准则是否满足，则打印最优解结束；否则，置k=k+1。 求实例：试用Newton法求的极小值点，初始点取为. 通过MATLAB程序计算得： 程序如下：clear allclc%Newton迭代法求解极小值点%090311%=====================================%定义函数disp 函数 f(x) 为:syms x1 x2f=点的值：x0=[1;1]%=====================================%求函数的梯度和海色阵disp 函数f的梯度：g=jacobian(f,[x1;x2])disp 函数f的Hesse矩阵：G=jacobian([g(1);g(2)],[x1,x2])%=====================================%定义迭代的最大次数n=10;%=====================================%一些初始值的计算g0=subs(g,{x1,x2},{x0(1),x0(2)});G0=subs(G,{x1,x2},{x0(1),x0(2)});f0=subs(f,{x1,x2},{x0(1),x0(2)});%=====================================%迭代点集合 x和函数值F的初始化x=zeros(2,n);F=zeros(1,n);%运用Newton方程解出下一近似值x(:,1)=x0-inv(G0)*g0; %注：用点乘有误A=x(:,1);F(1)=subs(f,{x1,x2},{A(1),A(2)});%=====================================%定义误差初始值为10deta=10;i=1;%循环用求出的近似解迭代Newton方程%求出下一个近似解，并在规定的误差范围内while deta=1e-10i10??? A=x(:,i);??? gi=subs(g,{x1,x2},{A(1),A(2)});??? Gi=subs(G,{x1,x2},{A(1),A(2)});??? i=i+1; ??? x(:,i)=x(:,i-1)-inv(Gi)*gi;??? A=x(:,i);??? F(i)=subs(f,{x1,x2},{A(1),A(2)});??? deta=F(i)-F(i-1);endk=(1:n+1);F=[f0 F];x=[x0,x];disp =====================================================disp 迭代的各步结果如下：disp ????? k???????????? x(k)???????? F{x(k)}[k????????? x???????????? F]%===================================== 结果如下： 函数 f(x) 为: f = x1^2+4*x2^2 初始点的值： x0 = 1 1 函数f的梯度： g = [ 2*x1, 8*x2] 函数f的Hesse矩阵： G = [ 2, 0] [ 0, 8] 迭代的各步结果如下： k x(k) F{x(k)} ans = 1 1 1 5 2 0 0 0 3