共轭梯度方法.pdf

共共共轭轭轭梯梯梯度度度方方方法法法 最最最优优优化化化方方方法法法 共共共轭轭轭梯梯梯度度度方方方法法法 张张张立立立卫卫卫 大大大连连连理理理工工工大大大学学学数数数学学学科科科学学学学学学院院院 共共共轭轭轭梯梯梯度度度方方方法法法 最最最优优优化化化方方方法法法 授授授课课课提提提纲纲纲 • 共共共轭轭轭方方方向向向方方方法法法 • 共共共轭轭轭梯梯梯度度度方方方法法法求求求解解解二二二次次次规规规划划划 • 求求求解解解无无无约约约束束束优优优化化化问问问题题题的的的方方方法法法 共共共轭轭轭梯梯梯度度度方方方法法法 最最最优优优化化化方方方法法法 共共共轭轭轭方方方向向向方方方法法法 共共共轭轭轭梯梯梯度度度方方方法法法 最最最优优优化化化方方方法法法 共共共轭轭轭方方方向向向 设设设G ∈ ℜ 是是是一一一对对对称称称正正正定定定矩矩矩阵阵阵 G−共共共轭轭轭方方方向向向 组组组{d , . . . , d }是是是直直直交交交向向向量量量组组组概概概念念念的的的推推推广广广 定定定义义义为为为满满满足足足下下下述述述条条条件件件的的的 向向向量量量组组组 d Gd , i ̸ j. 类类类似似似于于于正正正交交交化化化过过过程程程可可可以以以将将将一一一组组组线线线性性性无无无关关关的的的向向向 量量量{a , . . . , a }变变变成成成一一一组组组直直直交交交向向向量量量组组组 也也也可可可以以以将将将它它它们们们变变变换换换成成成一一一 线线线G−共共共轭轭轭的的的向向向量量量组组组此此此过过过程程程可可可以以以由由由下下下述述述步步步骤骤骤来来来实实实现现现 共共共轭轭轭梯梯梯度度度方方方法法法 最最最优优优化化化方方方法法法 生生生成成成共共共轭轭轭方方方向向向 算算算法法法 生生生成成成共共共轭轭轭方方方向向向 步步步 取取取d a k 步步步 若若若k n 则则则终终终止止止计计计算算算 步步步 计计计算算算 ∑ d Ga d a µd , µ − , j , . . . , k. d Gd 步步步 k k 转转转到到到步步步 共共共轭轭轭梯梯梯度度度方方方法法法 最最最优优优化化化方方方法法法 求求求解解解二二二次次次规规规划划划 考考考虑虑虑下下下述述述二二二次次次函函函数数数极极极小小小化化化问问问题题题