求解无约束优化问题的共轭梯度法.pptxVIP

求解无约束优化问题的共轭梯度法 作者：姚瑞哲，李芳梅 引言 共轭梯度法时介于最速下降法与牛顿法之间的一个方法。它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。 共轭梯度法最早是由Hestenes和Stiefel（1952）提出来的，用于解正定系数矩阵的线性方程组。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现已广泛应用与实际问题中。 共轭梯度算法（CG算法） 共轭的定义 定义 设G是n×n对称正定矩阵，d1，d2是n维非零向量。如果 d1TGd2=0， 则称向量d1和d2是G-共轭的，简称共轭的。 设d1，d2，…，dm是Rn中任一组非零向量，如果 diTGdj=0 （i≠j）， 则称d1，d2，…，dm是G-共轭的，简称共轭的。 显然，如果d1，d2，…，dm是共轭的，则它们是线性无关的。 算法 步1.初始步：给出x0，ε0,计算r0=Gx0-b，令d0=-r0，k:=0. 步2.如果‖rk‖≤ε，停止. 步3.计算