最优化理论与算法(第四章).docVIP

PAGE  PAGE 13 第四章 共轭梯度法 §4.1 共轭方向法 共轭方向法是无约束最优化问题的一类重要算法。它一方面克服了最速下降法中，迭代点列呈锯齿形前进，收敛慢的缺点，同时又不像牛顿法中计算牛顿方向耗费大量的工作量，尤其是共轭方向法具有所谓二次收敛性质，即当将其用于二次函数时，具有有限终止性质。 一、共轭方向 定义4.1 设是对称正定矩阵，，是维非零向量，若 （4.1） 则称，是－共轭的。类似地，设是中一组非零向量。若 （4.2） 则称向量组是－共轭的。 注：(1) 当时，共轭性就变为正交性，故共轭是正交概念的推广。 (2) 若－共轭，则它们必线性无关。 二、共轭方向法 共轭方向法就是按照一组彼此共轭方向依次搜索。 模式算法： 1）给出初始点，计算，计算，使， （初始共轭方向）； 2）计算和，使得，令； 3）计算，使，，令，转2）。 三、共轭方向法的基本定理 共轭方向法最重要的性质就是：当算法用于正定二次函数时，可以在有限多次迭代后终止，得到最优解（当然要执行精确一维搜索）。 定理4.2 对于正定二次函数，共轭方向法至多经过步精确搜索终止；且对每个，都是在线性流形中的极小点。 证明：首先证明对所有的，都有 ，（即每个迭代点处的梯度与以前的搜索方向均正交） 事实上，由于目标函数是二次函数，因而有 1）当时， 2）当时，由精确搜索性质知： 综上所述，有 。 再证算法的有限终止结论。若有某个（），则结论已知。若不然，那么由上面已证则必有： 。 而由于是的一组基，由此可得。故至多经过次精确一维搜索即可获得最优解。 下面证明定理的后半部分。由于 是正定二次函数，那么可以证明 是线性流形上的凸函数。事实上， 由知为的凸函数。因而 注意到：当，时， 。 而由定理前部分证明，在处有 ， 故在处，取得极小，即 是在线性流形上的极小点。 §4.2 共轭梯度法 上节一般地讨论了共轭方向法，在那里个共轭方向是预先给定的，而如何获得这些共??方向并为提及。本节讨论一种重要的共轭方向法——共轭梯度法。这种方法在迭代过程中通过对负梯度方向进行适当校正获得共轭方向，故而称之为共轭梯度法。 一、共轭梯度的构造 （算法设计针对凸二次函数） 设 其中为正定矩阵，则 。 对二次函数总有 1）设为初始点。首先取，令 （为精确步长因子） 则有：（精确一维搜索性质）。 2）令，适当选择，使， 得 （从而得到） 由前一节共轭方向法的基本定理有： ，， 再由与的构造，还可得： ， 3）再令，适当选择，，使得 （），由此得： ， 4） 一般地，在第次迭代中，令 适当选取，使 （）， 可得到 （） （4.3） 同样由前一节共轭方向的基本定理有： （）， （4.4） 再由与的关系得： （） （4.5） 将（4.4）与（4.5）代入（4.3）得：当时，， 而 。 共轭梯度法的迭代公式为： （为共轭方向，为最佳步长因子） 对二次函数 ； 而对非二次函数，则采用精确一维搜索得到。 共轭方向的修正公式为： （4.6） 其中，由下面诸式之一计算： 1） （Crowder-Wolfe公式） （4.7） 2) （Fletcher-Reeves公式） （4.8） 3） （Polak-Ribiere-Polyak 公式） （4.9） 4） （Dixon公式） （4.10） 注： 对二次函数而言，上述四个公式都是等价的。而且求得的搜索方向均为共轭方向；若对非二次函数，则将导出互不相同的算法，而且据此求出的搜索方向不再保证是共轭的。（事实上，此时不存在一个常值正定矩阵，共轭的提法都已无意义）。 二、共轭梯度法的性质 定理4.3 对于正定二次函数，采用基于精确一维搜索的共轭梯度算法，必定经过步迭代后终止。且对，下列关系式成立： 1） （）