最速下降法求解线性代数方程组.pdf

最速下降法求解线性代数方程组 要求：对于给定的系数矩阵、右端项和初值，可以求 解线性代数方程组 一、最速下降法数学理论 在基本迭代公式 X X t P 中，每次迭代搜索方向 P 取为目标函数 f ( X ) 的负梯 k 1 k k k k 度方向，即 P f ( X ) ，而每次迭代的步长 t 取为最优步长，由此确定的算法称为最速 k k k 下降法。 为了求解问题 min f (X ) ，假定我们已经迭代了 k 次，获得了第 k 个迭代点 X k 。现在 从 X k 出发，可选择的下降方法很多，一个非常自然的想法是沿最速下降方向（即负梯度方 向) 进行搜索应该是有利的，至少在 X k 邻近的范围内是这样。因此，去搜索方向为 P f (X ) . k k 为了使目标函数在搜索方向上获得最多的下降，沿 P 进行一维搜索，由此得到第 k 1 k 个跌带点，即 X k 1 X k t k f (X k ) ， 其中步长因子 t k 按下式确定 f ( X k t k f (X k )) min f ( X k t k f (X k )) ， X k 1 ls ( X k , f ( X k )) . （1） 显然，令 k 0,1,2, 就可以得到一个点列 X 0 , X 1 , X 2 , , 其中 X 0 是初始点，由计算 者任意选定。当 f (X ) 满足一定的条件时，由式（ 1）所产生的点列 { X k } 必收敛于 f ( X ) 的 极小点。 二、最速下降法的基本思想和迭代步骤 已知目标函数 f (X ) 及其梯度 g( X ) ，终止限 1 , 2 和 3 . （1）选定初始点 X 0 ，计算 f0 f ( X 0 ), g0 g (X 0 ) ；置 k 0 . （2 ）作直线搜索： ( , ) ；计算 ( ), ( ) . X k 1 ls X k g k f k 1 f X k 1 g k 1 g X k 1 用终止准则检验是否满足： 若满足，则打印最优解 (X k 1, f (X k 1 )) ，结束；否则，置 k k 1， 转（ 2 ） （3）最速下降法算法流程图如图所示 . 开始 选定 X