最速下降法PPT及MATLAB程序解读.pptxVIP

最速下降法 最速下降法，也称为梯度下降法，是由法国著名数学家Cauchy在1847年提出的。 最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。 最速下降法是用负梯度方向为搜索方向，算法非常简单，并且通常对凸解析函数也有良好的收敛性。 最速下降法的基本思想 从任意一点xk出发，沿该点负梯度方向pk=-▽f(xk)进行一维搜索，设f(xk+ λ kpk)=min f(xk+ λ pk) (λ 0)，令xk+1= xk+ λ kpk为f(x)新的近似最优解。 再从新点xk+1出发，沿该点的负梯度方向pk+1=-▽f(xk+1)进行一维搜索，进一步求出新的近似最优解xk+2。 如此迭代，直到某点的梯度为零向量或梯度的范数小于事先给定的精度为止。 给定x0，ε0，k=0 计算pk=-▽f(xk) || ▽ f(xk)|| ε f(xk+ λ kpk)=min f(xk+ λ pk) (λ 0) xk+1= xk+ λ kpk，k=k+1 停止，打印xk Y N 算法 例. 用最速下降法求函数f (x1, x2)＝2x12+x22 的极小点,取x0=[1,1]T , ε=0.1。 解 由题意得 由于 故进行第一次迭代 从x0=(1,1)T出发进行一维搜索，即构造 得 从而得 故进行第二次迭代运算: 令 从x1=(-1/9,4/9)T出发进行一维搜索，即构造 得 从而得 令 故进行第三次迭代运算: 从x2=(2/27,2/27)T出发进行一维搜索，即构造 得 从而得 令 停止迭代 故最优解为 最速下降法的搜索路径呈直角锯齿形 设xk=(xk1 , xk2 …..xkn),pk=(pk1 , pk2 …..pkn),则 令θ(λ )= f(xk+ λ pk) = f(xk1 + λ pk1, xk2 + λ pk2 ,…., xkn + λ pkn) 是一元函数f(xk+ λ pk)的极值点， ▽f(xk +λ kpk)Tpk=0，即(pk+1)Tpk=0。也就是说，有目标函数在一维搜索产生的新点xk+1= xk+ λ kpk处的梯度与产生该点时所用的搜索方向是正交的。 改进后的算法 精度ε0，自然数N=2,k=0 Step1: 计算 Step2： Step3： 如果 ，则转Step5；否则进行一维搜索 ，令 若k=N,且k/3-[k/3]=0.则转Step4，否则转Step2. Step4： 计算 ，进行一维搜索 令 ，转Step2 Step5： 停止，输出 小结 1、优点： 计算简单，需记忆的容量小；对初始点要求低，稳定性高；远离极小点时收敛快，常作为其它方法的第一步。 2、缺点： 收敛速度较慢。尤其当目标函数等值面是很扁的椭圆、椭球或类似图形时，收敛更慢。