现代设计方法14章-优化设计-多维无约束优化2.pptxVIP

第14讲 最优化设计——多维无约束优化214.3 梯度法　梯度法是求解多维无约束优化问题的解析法之一。梯度法的基本思想:基于梯度是函数变化率最大的方向，而负梯度则是函数下降最快的方向。沿该方向搜索，使函数值在该点附近下降最快。则梯度法就是取迭代点处的函数负梯度方向作为搜索方向，该法又称最速下降法。梯度法的迭代格式：按上式求得负梯度方向的一个极小点 ，作为原问题的一个近似最优解；若此解尚不满足精度要求，则再以 作为迭代起始点，以 处的负梯度方向 作为搜索方向，求得该方向的极小点 ，如此进行下去，直到求得的解　满足收敛条件为止。式中　 为最优步长。关于的梯度法迭代计算步骤见教材。，例14-A 已知一目标函数为试求在点　　 的梯度。解：由梯度的定义，该目标函数的梯度为：则该函数在点　的梯度为梯度法的终止条件：　梯度法的特点： (1) 算法简单； (2) 前后两次迭代方向正交，所以搜索路线是呈直角锯齿形； (3) 开始搜索时，收敛速度较快，但当靠近极小点附近，收敛速度越来越慢，这是梯度法的较大缺点。14.4 牛顿法 牛顿法也是一种解析法，它是梯度法的进一步发展。该法的搜索方向的构造：是根据目标函数的负梯度和二阶偏导数矩阵来构造的。牛顿法分为：原始牛顿法和阻尼牛顿法两种。它是以二次函数来逼近原目标函数。该算法的基本思路：其迭代过程是在求目标函数 的极小值时，先将它在点 附近作泰勒展开，并取二次近似函数式；然后求出这个二次函数的极小点，并以该极小点作为原目标函数的极小点X* 的一次近似解； 若此解不满足精度要求，则可以此近似解作为下一次迭代的初始点，仿照上面的做法，求出二次近似解；照此迭代下去，直至所求出的近似极小点满足精度要求。　现用二维问题来加以说明，　将目标函数 在给定点 作泰勒展开，并取二次近似式：为求得二次近似式 的极小点 ，对上式求梯度，并令解之可求得：式中:为海森（Hessian）矩阵的逆矩阵。　在一般情况下，　不一定是二次函数，　则所求得的极小点 也不一定是原目标函数 的真正极小点。　　但由于在　　点附近，函数　　 和　　 是近似的，　因而 可作为 的近似极小点。　为求得满足精度要求的近似极小点 ，　可将 作为下一次迭代的起始点 ，即得 上式就是原始牛顿法的迭代公式。　由上式可知，牛顿法的搜索方向为上式中的搜索方向　称为牛顿方向，可见原始牛顿法的步长因子恒取：　　 　，因此，原始牛顿法是一种定步长的迭代过程。　牛顿算法对于二次函数是非常有效的，　迭代一步就可达到极值点，而这一步根本不需要进行一维搜索。　对于高次函数，　只有当迭代靠近极值点附近，目标函数近似二次函数时，　才会保证很快收敛，否则也可能导致算法失败。为了克服这一缺点，便将迭代公式修改为： 上式　　　为修正牛顿法的迭代公式。式中，步长因子　又称阻尼因子。修正牛顿法的迭代步骤详见教材。14.5 变尺度法 是在克服了梯度法收敛慢 和牛顿法计算量大 的缺点基础上而发展起来的一种最有效的解析法。现已得到广泛应用。变尺度法：利用牛顿法的迭代形式，但并不直接计算 ，而是用一个对称正定矩阵 近似地代替 。它在迭代过程中不断地改进，最后逼近 。变尺度法基本思想：这种算法，省去了海森矩阵的计算和求逆，使之计算量大为减少，并且还保持了牛顿法收敛快的优点。变尺度法特点：在变尺度法 中，较为常用的有：● DFP变尺度法● BFGS变尺度法。1. DFP变尺度法 　DFP变尺度法　是最为常用的一种变尺度算法。 该算法的迭代公式为：(14-7) 式中: 变尺度矩阵，是一n×n阶对称正定矩阵，　在迭代过程中,它是逐次形成并不断修正，　即从一次迭代到另一次迭代是变化的，故称变尺度矩阵。 　　由式(14-7)，不难看出：　当 （单位矩阵）时：式 (14-7) 变为梯度法的迭代公式；　当 时：　式 (14-7) 就变为牛顿法的迭代公式。　由此可见，梯度法和牛顿法可以看作变尺度法的一种特例。变尺度矩阵可用下式迭代：式中， 　　称作校正矩阵，　在DFP变尺度法中它可用下式来计算：式中:第 k 次迭代中前后迭代点的向量差 ；前后迭代点的梯度向量差 。迭代开始（k＝0）规定：　　　 。　 上式　称为DFP公式，由该式可以看出，　变尺度矩阵 的确定取决于在第 k 次迭代中的下列信息：● 上次的变尺度矩阵 ，● 迭代点的向量差