最优化设计程序设计.pdf

最优化方法 实验报告 学生姓名： 魏 峰 学 号： 201318050224 班 级： 数学与应用数学131802 完成时间： 2016 年 6 月 20 日 最优化方法上机实验报告 一、实验题目 共轭梯度法求解方程及方程组 二、实验目的 1.进一步熟悉理解掌握共轭梯度法解法思路，提高matlab 编程能力 2.学习并撑握共轭梯度法的原理、方法及应用，并了解不同无约束优化方法的区 别、优缺点及特殊要求。 3.熟悉使用共轭梯度法求解无约束非线性规划问题的原理； 4.在掌握原理的基础上熟练运用此方法解决问题； 5.解决问题的同时分析问题，力求达到理论与实践的相统一； 三、实验原理、基本理论 共轭梯度法为求解线性方程组而提出。后来，人们把这种方法用于求解无约 束最优化问题，使之成为一种重要的最优化方法。 共轭梯度法的基本思想是把共轭性与最速下降方法相结合，利用已知点处的 梯度构造一组共轭方向，并沿这组方向进行搜索，求出目标函数的极小点。根据 共轭方向的基本性质，这种方法具有二次终止性。在各种优化算法中，共轭梯度 法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且 不需要任何外来参数。 无约束最优化方法的核心问题是选择搜索方向.在本次实验中,我们运用基于 共轭方向的一种算法—共轭梯度法 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向 上的差别。 （1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度 法等。 （2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。 用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。这类方 1 最优化方法上机实验报告 法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。 间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛 矩阵。 x k 1 x k sk (k 0,1,2,) k 搜索方向的构成问题乃是无约束优化方法的关键。 共轭梯度法是沿着共轭方向进行搜索，属于共轭方向法中的一种，该方法中 每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。共轭梯度法作为一种 实用的迭代法，它主要有下面的优点： （1）算法中，系数矩阵Ａ的作用仅仅是用来由已知向量P 产生向量W=AP， 这不仅可充分利用Ａ的稀疏性，而且对某些提供矩阵Ａ较为困难而由 已知向量P 产生向量W=AP 又十分方便的应用问题是很有益的。 （2）不需要预先估计任何参数就可以计算，这一点不像SOR 等； （3）每次迭代所需的计算，主要是向量之间的运算，便于并行化。 考虑线性方程组 Ax b x 的求解问题，其中A 是给定的n 阶对称正定矩阵，b 是给定的n 维向量， 是待 求解的n 维向量.为此,定义二次泛函 T T (x) x Ax 2b x . 定理1 : 设A 对称正定,求方程组Ax b 的解，等价于求二次泛函(x ) 的极小值 点. 定理 1 表明，求解线性方程组问题就转化为求二次泛函(x ) 的极小值点问