最优化梯度法与共梯度法.ppt

梯度法和共轭梯度法 1.无约束最优化问题 2.梯度法 3.共轭梯度法 无约束最优化问题 无约束最优化问题 min f(x) 其中f(x)有一阶连续偏导数 解析方法:利用函数的解析性质构造迭代公式使之收敛到最优解 二.梯度法(最速下降法) 迭代公式 d 如何选择下降最快的方向? ⅴ∫(xk)函数值增加最快的方向 函数值下降的方向 -V∫(x4)函数值下降最快的方向 梯度法(最速下降法): 1.搜索方向:dk=-Vf(xk),也称为最速下降方向 2搜索步长:λ取最优步长即满足∫(x+Ad)=min∫(xx+Md)。 梯度法算法步骤 1给定初始点xeR",允许误差E>0,令k=1 2计算搜索方向dk=-Vf(x4); 3若d‖≤s,则停止计算,x为所求极值点;否则,求最优步长k 使得∫(xk+Ad)=min∫(xk+Ank)。 4令xk+1=xk+Adk,令k:=k+1,转2 例用最速下降法求解:minf(x)=x2+3x2,设初始点为x2=(2,1)y, 求迭代一次后的迭代点x2。 解: f(x)=(2x1,6x2) d1=-Vf(x1)=(-4,-6)r 1+dl=(2-4A,1-64) 令g()=f(x1+Ad1)=(2-44)2+3(1-61)2, 求解mng() 令p()=8(2-44)-36(1-6)=0→A1 ad 313