数值11(共轭梯度法)论述.pptVIP

Possion方程: 令 h = 1/(n+1) , xj= jh, yj = jh ( i , j = 0,1, ···, n+1 ) 记 ui,j= u(xi , yj ), ( i , j = 0,1, ···, n+1 ) 线性方程组 ( i,j = 1,···,n ) u0, j = 0, ui, 0 = 0, ui, n+1 = 0 ( i,j = 1,···,n ) 算例2 A = gallery(poisson, n); 重要性质: * 证明的细节: x(0)=0 * 注3. 共轭梯度法误差分析所用范数为 注4.设 x* 是方程组Ax = b的解,A的特征值为： ?1≥?2 ≥ …≥?n＞ 0 共轭梯度法迭代向量xk 误差估计结果为 注2. 共轭梯度法适用于求解对称正定矩阵方程组。 * 参考文献: An Introductionto the Conjugate Gradient Method Without the Agonizing Pain Iterative Krylov Methods for Large Linear Systems * * * * * * test * test * test * test * * test * */34 初等变分原理 最速下降法 共轭梯度法 数值试验算例 《数值分析》 11 ? ? ? ? * ( x, x) ≥ 0, 当且仅当x=0时等号成立; ( x, y ) = ( y, x ); (kx+l y, z ) = k( x, z ) + l( y, z ); (x,y)=||x||2||y||2cosx,y。 预备知识 设 , 则实数 ( x , y)= xT y= x1y1+ …+xnyn * 设A是 n 阶对称正定阵 (Ax, x) ≥ 0, 当且仅当x=0时等号成立; ( Ax, y ) = ( x, Ay )= (A y, x )= ( y, Ax ); (kAx+lA y, z ) = k( Ax, z ) + l(Ay, z ). 预备知识 矩阵A正定,如果对于任意非零向量x满足 xTAx0. * 预备知识 例如 f(x1,x2,x3)=x12x22x32 梯度(多元函数的一阶导数信息): * 思考:多元函数的二阶导数信息？ 预备知识 泰勒展式(数值分析的基石): * 单变量函数极值点(费马引理): * 注释: 费马引理的价值在于将极值问题转化为非线性方程的求解问题。 * 多变量函数极值点: 定理4.10(初等变分原理) 设A =(aij )n×n为实对称正定矩阵, 则 x是二次函数 的极小值点? x 是线性方程组 Ax = b 的解。 证明: 设 u 是 Ax = b的解 ? Au = b ? 对任意 x∈R n , 只须证明 f (x) – f (u) ≥ 0 * 设 u 是 f(x) 极小值点。取非零向量 x∈R n, 对任意 t∈R , 有 当 t=0 时, g(0)= f(u)达到极小值, 所以 g′ (0) =0,即 ( Au – b , x ) = 0 ? Au – b = 0 所以u 是方程组 Ax = b 的解。 * 最速下降方向 从初值点 x(0) 出发,以负梯度方向 r 为搜索方向 在 x 处,梯度方向是 f(x) 增长最快方向 负梯度方向是 f(x) 下降最快方向 选择步长 t0, 使 x(1) = x(0) + t0r 为 f(x) 极小值点 最速下降方向: r = –?f = b – Ax * 求解得 t0 = ( r0 , r0) / (Ar0 , r0) 为选取最佳步长 t0,令 取初值点 x(0), 取负梯度方向 r0 = b – A x(0) 求点: x(1) = x(0) + t0r0 使得 记 * 精确搜索步长 解对称正定方程组Ax = b 的最速下降算法: 第一步: 取初值 x(0)∈R(n) , ?0,计算 r0 = b – Ax(0), k ? 0; 第二步: 计算 tk = (rk ,rk ) / (Ark , rk) x(k+1) = x(k) + tk rk , rk+1 = b – Ax(k+1) 第三步: k ? k+ 1, 如果 ||rk|| ≥ ?,转第二步; 否则输出 x(k), 结束。 * 注释: 最速下降算法思想简单且容易实现,是求解无约束优化问题