.变尺度法.pptVIP

* 收敛速度快，为二阶收敛。 (2) 初始点的选取困难，甚至无法实施。 牛顿法特点 存在缺点及修正 初始点要选在最优点附近。 * 广义牛顿法 * 6.3 拟牛顿法(变尺度法) 一、拟牛顿法的思想 * 拟Newton法是效果很好的一大类方法。它当中的DFP算法和BFGS算法是直到目前为止在不用Hesse矩阵的方法中的最好方法。 * * 分析 * ; ) ( . 2 k k k x f H d Step ? - = 计算搜索方向 拟Newton条件或拟Newton方程: * Step 4. 判断 是否满足终止准则： yes: 计算 stop, No : 转 step 5 。 * DFP算法 一、DFP法的提出 * * * 三、DFP算法的步骤 改为: . 2 step , 1 : DFP . 5 Step 转 ， 计算 的校正公式： 按照 + = k k H k * 四、变尺度法算法框图： y N * 例 解 * 。 BFGS算法 比DFP算法更好的是BFGS算法。因为这个算法给出的矩阵稳定性更好。这个算法是由Broyden, Fletcher, Goldfarb和Shanno等人给出的，其校正公式为（秩2矫正法） * 只要把DFP算法中涉及DFP校正公式的部分改为BFGS校正公式便得到BFGS算法。BFGS算法具有与DFP算法完全相同的性质，但是因为它的 不易变为奇异， 所以BFGS算法要比DFP算法具有更好的数值稳定性。BFGS算法是直到目前为止所公认的最好的拟Newton算法(变尺度算法)。 采用不精确直线搜索技术的BFGS算法的全局收敛性已得到证明。 * 应用上述公式，BFGS中的求逆可以得到简化。 * 五、变尺度法的主要特点 　⑴只需用到函数的一阶梯度；（Newton法用到二阶Hesse阵） 　⑵下降算法，故全局收敛； ⑶不需求矩阵逆；（计算量小） ⑷一般可达到超线性收敛；（速度快） ⑸有二次终结性。 * 2. 牛顿法 3. 拟牛顿法(变尺度法) 1、梯度法（最速下降法）： 多变量无约束优化搜索方法 * 多变量无约束优化搜索方法 4. 特殊拟牛顿法1——DFP算法： 5. 特殊拟牛顿法2——BFGS算法： * 6. 共轭梯度法1—— 7. 共轭梯度法2—— 多变量无约束优化搜索方法 * 各种方法比较