5无约束优化方法.pptVIP

共轭梯度法共轭方向生成通式 共轭梯度法的特点： 1. 共轭梯度法可看作是对最速下降法的修正，故收敛速度较最速下降法快； 2. 共轭梯度法具有二次收敛性； 3. 共轭梯度法程序简单，存储量小，对初始点要求不严。 4. 共轭梯度法梯度模较小时容易上溢出。 第五节 变尺度法 变尺度法(Variable Metric Method)也称为拟Newton法(Quasi-Newton Method)，是求解无约束最优化问题最有效的算法之一，它不需要求二阶Hesse矩阵，而只利用一阶导数来构造二阶信息的近似矩阵，从而该算法有较好的收敛性质。 一、尺度矩阵的概念 变量的尺度变换就是对其坐标进行放大或缩小处理，达到降低函数偏心率的目的。 对于二次函数 进行尺度变换 则函数的二次项变为 若矩阵H是正定的，则一定存在尺度矩阵Q，使 由此可见，二次函数的Hesse矩阵H的逆阵H-1 ，可以通过尺度矩阵Q求得。 Newton法迭代公式因此而变为： 梯度法迭代公式为： 记 称为尺度矩阵 则Newton法和梯度法的迭代公式可统一写为： 为了避免在牛顿法中直接计算目标函数f(X)的Hesse矩阵的逆阵[H(X(k))] -1 ，故构造一个尺度矩阵序列{Ak}来逼近[H(X(k))] -1 ,则称Ak为变尺度矩阵。从而可得变尺度法的迭代公式为： 二、变尺度矩阵的构造原则： 1. 为了保证迭代公式具有下降性质