新建变尺度法1.pptxVIP

变尺度法PPT制作：冯希光李明勇演讲人：陈若愚资料收集者：刘昊问题收集人：刘庆同回答问题：李彩军变尺度法是近几十年来无约束优化方法发展中最重要的研究成果；是基于牛顿法和最速下降法的思想而又作了重要改进的一类方法；DFP变尺度法首先有戴维顿（Davidon）与1959年提出，又于1963年由弗莱彻（Fletcher）和鲍维尔加以发展和完善，故称DFP变尺度法，简称DFP法。至今仍被公认为是求解无约束优化问题的最有效的算法之一。变尺度的发展变尺度法的基本思想变尺度法的基本思想与梯度法和牛顿法有着密切的联系。观察梯度法和牛顿法迭代公式：分析比较这两种方法可知：前者只需计算函数的一阶偏导数，计算工作量小，但是当迭代点接近最优点时收敛速度很慢。后者不仅需要计算一阶偏导数而且要计算二阶偏导数矩阵及其逆矩阵，计算量很大，但牛顿法具有二次收敛性，当迭代点接近最优点时收敛速度很快。对这两种方法取其优，去其劣，迭代过程先用梯度法，后用牛顿法并避开牛顿法的海森矩阵的逆矩阵的繁琐计算，这就是萌生建立“变尺度法”的基本构想。式中是人为构造的一个n阶对称矩阵，它在迭代过程中随迭代点的位置变化而变化。若在初始点取为单位矩阵E，则公式变为梯度法的迭代公式，搜索方向为负梯度方向。随着迭代过程不断地修正构造矩阵，使它在整个迭代过程中逐步地逼近目标函数在极小点处的海森矩阵的逆矩阵,当时，公式变为牛顿法的迭代公式，当迭代点逼近最优点时，搜索方向就趋于牛顿方向。如能实现这种构想，那就综合了梯度法和牛顿法的优点。实现上述变尺度法的基本思想，关键在于如何产生合乎要求的变尺度矩阵。变尺度法的迭代公式为：构造变尺度矩阵的基本要求根据变尺度法的基本思想，需要构造一个矩阵，使其得到的搜索方向具有下降性、收敛性和计算的简便性—为了保证所构造的近似矩阵具有这些特点，必须：1.为了使拟牛顿搜索方向朝着目标函数值下降的方向，必须为对称正定矩阵。若有目标函数由点沿方向具有下降的性质，可知搜索方向与负梯度方向之间的夹角应成锐角，即两者的点积应大于零：将代入上式，则有2.为使逐次构造的变尺度矩阵逐渐逼近海森矩阵的逆矩阵，须满足拟牛顿条件：变尺度矩阵必须是对称正定矩阵才能保证变尺度算法拟牛顿搜索方向是函数值下降方向。用矩阵表示为：将目标函数展开为Taylor的二次近似式取其梯度，得称为拟牛顿条件或DFP条件，在这个关系式中，只含有两个迭代点的向量差以及梯度向量差的信息，也就是说，应通过这两者信息来构造矩阵。取为极值点附近第k+1次迭代点，则有：3.为适应迭代计算的需要，希望变尺度矩阵有如下递推形式：式中，称为第k次校正矩阵，它只依赖于当前的已知量。从而的DFP公式：DFP变尺度法算法步骤Step4.判断是否满足终止准则计算▽ƒ(xk+1)，若yes:No:转step5。取初始变尺度矩阵为单位矩阵H0=I，则第一次搜寻方向为例用DFP算法求下列问题的极值：为一维搜索最佳步长，应满足得:,2）再按DFP法构造点x1处的搜寻方向d1，需计算代入校正公式梯度为零向量,海赛矩阵正定。可见点满足极值充要条件，因此为极小点。变尺度法的主要特点　⑴只需用到函数的一阶梯度；（Newton法用到二阶Hesse阵）　⑵收敛速度介于梯度法和牛顿法之间；⑶不需求矩阵逆；（计算量小）谢谢！