优化设计(无约束优化间接法)预案.ppt

4.4.3 梯度法 梯度法是求解多维无约束优化问题的解析法之一。 基于梯度是函数增大最快的方向， 而负梯度则是函数下降最快的方向。 沿该方向搜索，使函数值在该点附近下降最快。 则梯度法就是取迭代点处的函数负梯度方向作为搜索方向，该法又称最速下降法。 梯度法的基本思想: 梯度法的迭代格式： （4-38） 按上式求得负梯度方向的一个极小点 ， 作为原问题的一个近似最优解； 若此解尚不满足精度要求，则再以 作为迭代起始点，以 处的负梯度方向 作为搜索方向， 求得该方向的极小点 ， 如此进行下去，直到求得的解满足收敛条件为止。 式中　 为最优步长。 （1）任取初始点 ，选定收敛精度 ＞0，令 。 （2）计算 。 （3）若 ≤ ，则迭代终止，取 ，否则进行步骤（4）。 （4）用一维搜索求 ，得最优步长 。 （5）令 ， ，返回步骤（2）。 梯度法的迭代步骤 解：由梯度的定义，该目标函数的梯度为： 例2-A 已知一目标函数为 ， 试求在点　　 的梯度。 则该函数在点　　的梯度为 梯度法的终止条件： 　　梯度法的特点： (1) 算法简单； (2) 前后两次迭代方向正交，所以搜索路线是呈直角锯齿形； (3) 开始搜索时，收敛速度较快，但当靠近极小点附近，收敛速度越来越慢，这是梯度法的较大缺点。 4.4.4 牛顿法 原始牛顿法和阻尼牛顿法两种。 牛顿法也是一种解析法，它是梯度法的进一步发展。 该法的搜索方向的构造： 是根据目标函数的负梯度和二阶偏导数矩阵来构造的。 牛顿法分为： 其迭代过程是在求目标函数 的极小值时，先将它在点X附近作泰勒展开，并取二次近似函数式；然后求出这个二次函数的极小点，并以该极小点作为原目标函数的极小点X* 的一次近似解； 它是以二次函数来逼近原目标函数。 若此解不满足精度要求，则可以此近似解作为下一次迭代的初始点，仿照上面的做法，求出二次近似解； 照此迭代下去，直至所求出的近似极小点满足精度要求。 该算法的基本思路： 　　现用二维问题来加以说明， 　　将目标函数 　　 在给定点 作泰勒展开，并取二次近似式： 为求得二次近似式 的极小点 ，对上式求梯度，并令 解之可求得： 式中: 为海森（Hessian）矩阵的逆矩阵。 　　在一般情况下，　　不一定是二次函数， 　　则所求得的极小点　 也不一定是原目标函数　　 的真正极小点。 　 　　但由于在　　点附近，函数　　 和　　 是近似的，因而 可作为 的近似极小点。 　　为求得满足精度要求的近似极小点 ，可将 作为下一次迭代的起始点 ，即得 （4-39） 　　由上式(4-39)可知，牛顿法的搜索方向为 上式就是原始牛顿法的迭代公式。 上式中的搜索方向　　　　　称为牛顿方向， 可见原始牛顿法的步长因子恒取：　　 　， 因此，原始牛顿法是一种定步长的迭代过程。 　　牛顿算法对于二次函数是非常有效的，迭代一步就可达到极值点，而这一步根本不需要进行一维搜索。 　　对于高次函数，只有当迭代靠近极值点附近，目标函数近似二次函数时，才会保证很快收敛，否则也可能导致算法失败。 为了克服这一缺点，便将迭代公式（4-39）修改为： （4-41） 上式　　　为阻尼牛顿法的迭代公式。 式中，步长因子 　　　又称阻尼因子。 上式称为阻尼牛顿法的迭代公式。式中，步长因子 又称阻尼因子。 为了克服牛顿法缺点，将迭代公式（4-39）修改为： （4-41） 阻尼牛顿法 ，则迭代停止 ， ＞0，令 。 修正牛顿法的迭代步骤如下： （1）给定初始点 ，收敛精度 （2）计算 ，若 ＜ 即为所求，否则进行（3）。 （3）计算 及