最优化课程的设计共轭梯度算法的研究.docVIP

《最优化方法课程设计》报告 共轭梯度算法研究 学 生： 专 业：信息与计算科学 班 级：2008级2班 指导教师： 二零一一年十二月  课程设计任务书 专业： 信息与计算科学 班级： 信计2008X 课程名称： 最优化方法课程设计 课题名称 共轭梯度算法研究 课题条件 1. 参考文献： [1] 孙文瑜等, 最优化方法(第二版)[M]，北京:高等教育出版社,2010. [2] 王红梅.算法设计与分析[M].北京:清华大学出版社,2006. 2. 安排10学时（18周五 8:00-11:45 13:30-17:15）上机（信计20081 N1S-229, 信计20082 N1S-231），指导老师到场指导网上和图书馆检索文献。 设计任务 理解巩固课程理论教学的知识，培养学生的实践动手能力。具体任务： 掌握共轭梯度法的思路及迭代过程；用共轭梯度法求，自定初始点， 设计说明书（或论文）内容 摘要、问题描述、具体理论知识点、具体实例、程序清单、程序实现、参考文献、总结、小组成员分工合作清单。 进度计划（列出完成项目设计内容、绘图等具体起始日期） 12月19-25日图书馆或网络查资料，12月26-29日，根据资料整理出基础理论与实例；12月30日上机10学时，编程并上机实现；12月31日完成报告并上缴电子文档。 指导教师 （签名）： 年 月 日 教研室主任 （签名）： 年 月 日 共轭梯度算法研究 摘 要 共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但客服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。共轭梯度法不仅是解大型线性方程组最有用的方法之一，也是解大型非线性最优化问题最有效的算法之一。在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。 共轭梯度法最早是由Hestenes和Stiefle（1952）提出来的，用于解正定系数矩阵的线性方程组，在这个基础上，Fletcher和Reeves （1964）首先提出了解非线性最优化问题的共轭梯度法。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用于实际问题中。共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便。 关键词：共轭梯度法 线性搜索 正定二次函数 最优解  目 录 一、问题提出 1 二、设计思路和步骤 2 三、程序设计 3 3.1问题分析 3 3.2 算法设计 3 3.3 算法框图 3 3.4 程序编制 3 四、结果分析 4 4.1设计结果 4 4.2 进一步讨论和验证 4 五、收获和总结 5 六、结束语 6 6.1设计的优缺点 6 6.2设计工作展望 6 参考文献 7 附 录 8 一、问题提出 共轭梯度法是一个典型的共轭方向法。它的每一个搜索方向是互相共轭的。而这些搜索方向仅仅是负梯度方向与上一次迭代的搜索方向的组合。因此，存储量少，计算方便。 记 左乘 （Hestenes-Stiefel公式） 利用和，上式也可以写成 另外三个常用的公式为 对于正定二次函数，若采用精确线性搜索，以上几个关于几个的共轭梯度公式等价。在实际计算中，FR公式和PRP公式最常用。 二、设计思路和步骤 2.1设计思路 注意到对于正定二次函数， （4.3.21） 其中是方程组的残量，以及 （4.3.22） 2.2设计步骤 共轭梯度法 步骤一： 初始步： 给出令。 步骤二： 如果||||=，停止。 步骤三： 计算 步骤四： 令k:=k+1，转步骤二。 三、程序设计 3.1问题分析 3.2 算法设计 3.3 算法框图 掌握共轭梯度法的思路及迭代过程；用共轭梯度法求，自定初始点， 3.4 程序编制 function f=conjugate_grad_2d(x0,t)%input this:conjugate_grad_2d([2,