共轭梯度法中的步长搜索极限四则.docVIP

共轭梯度法中的步长搜索极限四则

一、步长搜索的“精度极限”：从理论收敛到数值实现的鸿沟

共轭梯度法（ConjugateGradient,CG）作为求解对称正定线性方程组和无约束优化问题的经典算法，其核心优势在于通过构造共轭方向序列，实现有限步内的理论收敛。然而，在实际数值计算中，这一理想状态往往被“精度极限”所打破，而步长搜索正是连接理论与实践的关键节点。

从理论层面看，共轭梯度法的每一步迭代都应严格满足正交性条件：当前残差与所有先前搜索方向正交，且当前搜索方向与所有先前搜索方向关于系数矩阵A共轭。这种正交性保证了算法在n维空间中最多n步即可收敛到精确解。但在数值计算中，浮点数的有限精度、舍入误差的累积以及矩阵条件数的影响，会逐渐破坏这一正交性，导致步长搜索的精度不断下降。

以线性方程组Ax=b为例，标准共轭梯度法的步长计算公式为：$$\alpha_k=\frac{r_k^Tr_k}{p_k^TAp_k}$$其中，$r_k=b-Ax_k$是第k步的残差，$p_k$是第k步的搜索方向。在理想情况下，$\alpha_k$的计算应完全精确，但实际中，$r_k$和$p_k$的微小误差会被分母中的$p_k^TAp_k$放大——当矩阵A的条件数较大时，$p_k^TAp_k$可能变得极小，导致$\alpha_k$的数值精度急剧恶化。

这种精度极限在优化问题中表现得更