最优化理论和算法[第四章].docVIP

WORD格式整理 PAGE 专业知识分享 第四章 共轭梯度法 §4.1 共轭方向法 共轭方向法是无约束最优化问题的一类重要算法。它一方面克服了最速下降法中，迭代点列呈锯齿形前进，收敛慢的缺点，同时又不像牛顿法中计算牛顿方向耗费大量的工作量，尤其是共轭方向法具有所谓二次收敛性质，即当将其用于二次函数时，具有有限终止性质。 一、共轭方向 定义4.1 设是对称正定矩阵，，是维非零向量，若 （4.1） 则称，是－共轭的。类似地，设是中一组非零向量。若 （4.2） 则称向量组是－共轭的。 注：(1) 当时，共轭性就变为正交性，故共轭是正交概念的推广。 (2) 若－共轭，则它们必线性无关。 二、共轭方向法 共轭方向法就是按照一组彼此共轭方向依次搜索。 模式算法： 1）给出初始点，计算，计算，使， （初始共轭方向）； 2）计算和，使得，令； 3）计算，使，，令，转2）。 三、共轭方向法的基本定理 共轭方向法最重要的性质就是：当算法用于正定二次函数时，可以在有限多次迭代后终止，得到最优解（