无约束优化方法(2).pdfVIP

工程优化设计中的数学方法 工程优化设计中的数学方法 硕士研究生课程 硕士研究生课程 理学院数学系：穆学文 Tel E-mail:mxw1334@163.com 第四章 无约束最优化方法 无约束最优化问题： min f (x ) f :R n →R1 n * n * 目的是找R 中的一点x ,使对∀x ∈R ，均有f (x ) ≤f (x ) 称为此无约束最优化问题的全局最优点。 然而在实际中，大多数最优化方法只能求到局部 * * n x 最优点，即在 中找一点 ，使得在 的某个邻域 R x 中有 * f (x ) ≤f (x ) 但在实际中，可以根据问题的意义来判断求得 的局部极小点是否为全局最优点，无约束最优 化可以分为两大类： 一类是使用导数的方法，也就是根据目标函数 的梯度（一阶导数）有时还要根据Hesse矩阵 （即二阶导数）所提供的信息而构造出来的方 法，就称为梯度方法。如：最速下降法，牛顿 法，共扼梯度法和变尺度法。另一类是不使用 导数的方法，统称为直接方法。 前者收敛速度快，但计算复杂（一阶，二阶导 数）。后者不用导数，适应性强，但收敛速度 慢。因此可以求得目标函数导数信息时，尽可 能用另一方法，而若求目标函数导数很困难， 或者根本不存在导数时，就用后一种方法， 本章只介绍如下几中利用导数信息的无约束 最优化方法： 最速下降法 牛顿法及其阻尼牛顿法 共轭方向法和共轭梯度法 变尺度法（DFP算法和BFGS算法） §1 最速下降法 最速下降法是求多元函数极值的最古老的数 值算法，早在1847年法国数学家Cauchy提出该 算法，后来Curry作了进一步的研究。该方法直 观，简单，计算方便，而且后来的一些新的有效 的方法大多数是对它的改进，或受它的启发而得 到的。 §1 最速下降法 §1.1 算法思想 对无约束优化问题 m in f (x ) ( x ∈R n ) 假定我们已经迭代到第k 次，从 出发进一步迭代。 x k , 显然应沿下降方向进行即 (∇f (x k )T dk 0.则dk 为下降方向） * x 而下降最快的方向是负梯度方向 xk −∇f (x k ) d −∇f (x ) k k 为了使目标函数沿此方向下降的最多，沿此 方向进行直线搜索，从而得