解正定线性方程组及CG方法.ppt

求解正定线性方程组的共轭梯度法 （CG方法） 林华堂、张卜元、吕迪 1.方法简介 共轭梯度法已有五十多年的历史,它最早是由Hestenes和Stiefel于1952年在求解线性方程组时提出的,并由Fletcher和Reeves于1964年推广到非线性优化领域.后,Beale,Powell,Fletcher等著名的优化专家对非线性共轭梯度法进行了深入研究,取得了十分优秀的成果.但几乎同时间世的拟牛顿方法由于其良好的计算表现以及丰富的收敛性分析很快受到了青睐,从而在很长一段时间里共轭梯度法被研究者所忽视.近年来,随着计算机的飞速发展以及实际问题的需要,大规模优化问题越来越受到重视,而共轭梯度法正是求解大规模问题的一种主要方法.于是,共轭梯度法的理论研究又受到人们的关注. 共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。 2.方法理论与描述 CG方法，它是一种极小化方法，对应于求一个二次函数的极值。 为了引出CG方法，下面介绍一些理论。 2.1与方程组等价的变分问题 （2.11） 则函数 有如下性质： （1）对一切 ，有 （2.12） （2）对一切 ,有 （2.13） （3）设 为方程组（2.11）的解，则对一切 ，有 （2.14） 则 定理1 设A对称正定，则 为方程组（2.11）解的充分必要条件是 满足 证明：设 为方程组（2.11）的解， 由式（2.14）及A的正定性，有 。 反之，若有 使 达到最小，则 故由式（2.14）可知 又因A正定，所以 。证毕。 由上述定理，求解线性方程组 等价于求解变分问题，即求 最小。求解的方法一般是构造一个向量序列｛ ｝, 使 。 2.2共轭梯度（CG）法的定义 设 是任意给定的一个初始点，从点 出发沿某一规定的方向 ，求函数 在直线 上的极小点，设求得的极小点为 。再从点 出发沿某一规定的方向 ，求函数 在直线 上的极小点，设求得的极小点为 。如此继续下去，一般地，从 点 出发沿某一规定的方向 ，求函数 在直线 2.3共轭梯度法的计算公式 下面介绍共轭梯度法一种生成A共轭向量系 的具体方法。 对任意初始向量