最速下降法及MATLAB程序p课件.pptVIP

最速下降法最速下降法，也称为梯度下降法，是由法国著名数学家Cauchy在1847年提出的。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向，算法非常简单，并且通常对凸解析函数也有良好的收敛性。.

最速下降法的基本思想从任意一点xk出发，沿该点负梯度方向pk=-▽f(xk)进行一维搜索，设f(xk+λkpk)=minf(xk+λpk)(λ0)，令xk+1=xk+λkpk为f(x)新的近似最优解。再从新点xk+1出发，沿该点的负梯度方向pk+1=-▽f(xk+1)进行一维搜索，进一步求出新的近似最优解xk+2。如此迭代，直到某点的梯度为零向量或梯度的范数小于事先给定的精度为止。.

给定x0，ε0，k=0计算pk=-▽f(xk)||▽f(xk)||εf(xk+λkpk)=minf(xk+λpk)(λ0)xk+1=xk+λkpk，k=k+1停止，打印xkYN算法.

例.用最速下降法求函数f(x1,x2)＝2x12+x22的极小点,取x0=[1,1]T,ε=0.1。解由题意得由于故进行第一次迭代从x