第一讲共轭梯度法.PDF

第一章 共轭梯度法 第一章 共轭梯度法 1.1. 引言 定义1.1.1.数值方法，即是一种特定迭代方法，首先，按某种方法给出目标函数f x ( ) ∗ n 极小点 的一个初始估计x ∈ℜ ，称 为初始点，然后按照某种特定的迭代规则产 x x 0 0 生一个点列 x ，使得 x 是有穷点列时，其最后一个点是所研究问题的某种意义下 { } { } k k 的最优解，当{xk }是无穷点列时，它有极限点，其极限点是问题的某种意义下的最优 解(此时称该方法是收敛的) 。一般地，已知x ，则产生下一个迭代点 的公式为 x k k +1 x + x =+α d ， (1-1) k 1 k k k 其中 n 为第 轮搜索方向， 为第 轮沿 方向的步长。由(1-1)式知，使用 d ∈ℜ k α 0 k d k k k 数值方法求解问题的关键在于，如何构造每一轮的搜索方向和确定步长。 注：一般情况下，根据搜索方向的dk 的不同，可分为不同的方法。 现在给出用数值方法求解问题的一般算法步骤： 第1 步：选取初始点 ，k : 0 ； x 0 第2 步：构造搜索方向 ； d k 1 几类数值优化方法 第3 步：根据 ，确定步长 ； d α k k 第4 步：令x x =+α d ； k +1 k k k 第 5 步：若 已满足某种终止条件，停止迭代，输出近似最优解 。否则， x x k +1 k +1 令k : k =+1 ，转回第2 步。 1.2.