最优化共轭梯度法.pptVIP

共轭梯度法 1. 共轭方向和共轭方向法 定义 设 A 是 n ? n 的对称正定矩阵，对于 R 中的两个非零向量 d 和 d ， 若有 d 1 T n 1 2 Ad 2 ? 0 ，则称 d 1 和 d 2 关于 A 共轭。 设 d 1 , d 2 , ? , d k 是 R n 中一组非零向量，如果 它们两两关于 A 共轭，即 d i T Ad j ? 0 , i ? j , i , j ? 1 , 2 , ? , k 。 则称这组方向是关于 A 共轭的，也称它们是一 组 A 共轭方向。 注： 如果 A 是单位矩阵，则 d 1 T ? I ? d ? 0 ? d 2 1 T ? d ? 0 2 2 ? d ? d 1 共轭是正交的推广。 1 2 k 设 A 是 n 阶对称正定矩阵， d , d , ? , d 是 k 个 A 共轭的非零 定理 1 . 证明 向量，则这个向量组线 性无关。 设存在实数 ? 1 , ? 2 , ? , ? k ，使得 ? k i i ? 1 ? i d ? 0 , 上式两边同时左乘 d j T A ，则有 ? k i ? 1 ? i d j T Ad i ? 0 , 因为 d 1 , d 2 , ? , d k 是 k 个 A 共轭的向量，所以上式 可化简为 ? j d j T Ad j ? 0 . 因为 d j ?