东北大学最优化方法2010年第三章(2).ppt

* * 开始 最优化方法（最优化课件研制组） 退出 主讲：张 京 3.4 共轭方向法与共轭梯度法 共轭方向法是介于最速下降法和Newton法之间的一种方法，它克服了最速下降法的锯齿现象，从而提高了收敛速度；它的迭代公式也比较简单，不必计算目标函数的二阶导数，与Newton法相比，减少了计算量和存储量。它是比较实用而有效的最优化方法。 共轭方向法涉及共轭方向的概念和性质。共轭方向的概念是在研究正定二次函数 （3.36） 时产生的。本节和下节所介绍的方法有一个共同的特点，即首先以（3.36）为目标函数给出有关的算法，然后再把算法用到更一般的目标函数上。 本节内容对今后许多章节起着基础的作用。 1. 基本思想 现在把下降法用于形式为（3.36）的二次函数。为便于说明共轭方向法的基本思想，首先考虑二维的情形。 （图3－14） 任选初始点 ，沿它的某个下降方向，例如向量 的方向，作直线搜索，得到（图3－14）。 由（4.16）知 (3.37) 一个设想是，干脆选择下一个迭代的搜索方向 就从 直指极小点 怎样确定，它应该满足什么条件？ 因为 从 直指极小点 ，所以 可以表示为 （3.38） 其中 是最优步长因子。显然，当 时， 。 对（3.36）求导数，有 （3.39） 因为 是极小点，所以有 将（3.38）代入此式，并由（3.39）可得 上式两边同时左乘 ，并注意到 和 便得到 （3.40） . 这就是为使 直指极小点 ， 所必须满足的条件。 满足（3.40）的两个向量 和 称为 共轭向量， 和 的方向是 共轭方向。 或称 利用（3.40）可以给出 的表达式。设 （3.41） , 上式两边同时左乘 ，得 由此解出 并代回到（3.41），便得 （3.42） . 归纳一下，对于二元二次目标函数，从任意初始点 出发，沿任意下降方向 做直线搜索得到 ；再从 出发，沿 的共轭方向 （可由（3.42）确定）作直线 必是极小点 。 搜索，所得到的 上面的结果可以推广到 维空间中，即在 维空间中， 个互相共轭的方向，对于 元正定二次函数， 个共轭方向最多作 直线搜索，就可以求到目标函数的极小点。 可以找出 从任意初始点出发，顺次沿着这 次 对于 元正定二次目标函数，如果从任意初始点出发经过有限次迭代就能够求到极小点，那么称这种算法具有二次终止性。例如，Newton法对于二次函数只须经过一次迭代就可以求到极小点，因此是二次终止的；而最速下降法就不具有二次终止性。共轭方向法（如共轭梯度法、拟Newton法等）也是二次终止的。 一般说来，具有二次终止性的算法，在用于一般函数 时，收敛速度是较快的。 2. 共轭向量及其性质 定义3.3 设 是 对称正定矩阵。若 维向量 满足 空间中的非零向量 （3.43） 则称 是 共轭向量或称向量 是 共轭的（简称共轭），称 的方向是 方向。 共轭 当 （单位矩阵）时，（3.43）为 即向量 互相正交。由此看到，“正交”是“共轭”的一种特殊情形，或说，“共轭”是“正交”的推广。 以下各定理都是描述共轭向量的性质以及在极小化正定二次函数的过程中以共轭方向作为搜索方向所得到的有关结论。 定理3.2 若非零向量 是 共轭的， 则线性无关。 推论3.3 在 维向量空间中，非零的共轭向量的 。 个数不超过 设 是 中的非零 共轭向量。因为 的一个 维子空间， 维子空间中的任意一个向量 均可表示为 线性无关，所以由它们可以张成 且这个 其中 是任意实数。 定义3.4 设 是 中的线性无关向量， 。那么形式为 的向量构成的集合，记为 ，称为由点 和向量 所生成的线性流形。 3. 共轭方向法 共轭方向法的理论基础是下面的定理。 定理3.4 假设 （1） 为 对称正定矩阵； （2） 非零向量 是 共轭向量； （3）对二次目标函数（3.36）顺次进行 次直线搜索 其中 是任意选定的初始点，则 ⅰ） ； （3.44） ⅱ） 是二次函数（3.36）在线性流形 上的极小点。 证 ⅰ）根据（1.46），直接有 证明：对于 ，（3.44）也成立。 。以下 由条件（3），有 其中 是从点 出发沿 方向作直线搜索得到的最优 步长因子。 用 左乘上式两边，然后再同时加上 ， 利用（3.39）就得到 （3.45） 由这个公式，可以递推得到 该式两边同时左乘 ，得 . . 此式右边各项实际全部为零。这是因为 故由（1.46）知 。又由 的共轭性知其余各项也全部为零。这就证明了（3.44）。 ⅱ）按条件（3），必有 于是，存在一组数 使得 （3.46） 而对于任意给定得 ，存在另一