智能优化算法作业.docVIP

一、优化算法及其应用 1.简介 共轭梯度法（Conjugate Gradient）是介于最速下降法与法之间的一个方法，它仅需利用一阶导信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。 共轭梯度法是利用目标函数梯度逐步产生共轭方向作为线搜索方向的方法，每次搜索方向都是在目标函数梯度的共轭方向，搜索步长通过一维极值算法确定。 设二次函数为，其中为常数，为维列向量，为对称正定矩阵，用共轭梯度法求的极小点： 共轭梯度法探索的第一步是沿负梯度方向。即点按方向找到，然后沿着与上一次探索方向相共轭的方向进行探索直达到最小点。 令。 上式的意义就是以原来的负梯度的一部分即，加上新的负梯度，构造。 在上式中的选择，应使维欧氏空间中的两个非零向量与关于矩阵共轭。即 因 ，故有 若令 二式相减，得 设在第次迭代中 代入上式，得 式中为第次迭代的最优步长。 由式和式 ，得 将式和式代入上式，得 因为是一正交系，故有或 故上式可简化为 得 用一维探索最优化方法确定，即求 或用解析法，使 求得。 或由式，得 即 又由于进行一维最优化搜索，故有 由上两式可求