共轭梯度法讲述.pptVIP

* * 问题1: 如何建立有效的算法？ 从二次模型到一般模型. 问题2: 什么样的算法有效呢？ 二次终止性. 共轭方向法和共轭梯度法 最初是由计算数学家Hestenes和几何学家Stiefel于1952年 为求正定系数矩阵线性方程组而独立提出的.他们合作的著名文章Method of conjugate gradients for solving linear systems 被认为是共轭梯度法的奠基性文章。 1964年，Fletcher和Reeves将此方法推广到非线性最优化， 得到了求解一般函数极小值的共轭梯度法. 简介 共轭方向法和共轭梯度法 (3) 共轭梯度法的收敛性分析的早期工作主要由Fletcher、 Powell、Beale等学者给出. (4) Nocedal、Gilbert、Nazareth、Al-Baali、Storey、 Dai、Yuan和Han等学者在收敛性方面得到了不少新成果. 共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一. (1) 建立在二次模型上，具有二次终止性． (2) 一种有效的算法，克服了最速下降法的锯齿现