无约束优化方法(最速下降法_牛顿法).docx

无约束优化方法(最速下降法_牛顿法) - - - - - -精品可编辑word学习资料 gE4I6Y9J9Y5 — — hU4V1O4E6U6 — — lK3U10C1Y3J6 第四章 无约束优化方法 ——最速下降法，牛顿型方法 概述 在求解目标函数的微小值的过程中，如对设计变量的取值范畴不加限制，就称这种最优化问题为无约束优化问题；尽管对于机械的优化设计问题，多数是有约束的， 无约束最优化方法仍旧是最优化设计的基本组成部分；由于约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解； |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. |载.  为什么要争论无约束优化问题 . 有些实际问题，其数学模型本身就是一个无约束优化问题； 通过熟识它的解法可以为争论约束优化问题打下良好的基础； 约束优化问题的求解可以通过一系列无约束优化方法来达到； 所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础；依据构成搜寻方向所使用的信息性质的不同，无约束优化方法可以分为两类； 一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等； 二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯 形法等； 无约束优化问题的一般形式可描述为： 求 n 维设计变量 T n X x1 x2 xn R 使目标函数 f ( X ) min 目前已争论出许多种无约束优化方法，它们的主要不同点在于 构造搜寻方向 上的差别； 无约束优化问题的求解： 1、解析法 可以利用无约束优化问题的极值条件求得；即将求目标函数的极值问题变成求方 程 min f ( X * ) 0 ＊的解；也就是求Ｘ ＊ 使其满意 f ( X * ) 0 x1 f ( X * ) 0 x2 * f ( X ) 0 xn 解上述方程组，求得驻点后，再依据极值点所需满意的充分条件来判定是否为微小值 |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. 点；但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，要用数值运算的方法；由其次章的叙述我们知道，优化问题的一般解法是数值迭代的方法；因此，与其用数值方法求解非线性方程组，仍不如用数值迭代的方法直接求解无约束极值问题； 2、数值方法 |载. 数值迭代法的基本思想是从一个初始点 X ( 0) 动身，依据一个可行的搜寻方向 d ( 0) 搜寻，确定正确的步长 0 使函数值沿 d 方向下降最大，得到 X 点；依此一步一步 (0 )(1)地重复数值运算，最终达到最优点；优化运算所 (0 ) (1) ( K 1) X ( K ) X ( K ) K d (k 0,1,2, ) （ 4.2 ） 在上式中， d( K ) 是第是 k+1 次搜寻或迭代方向，称为搜寻方向（迭代方向）； 由上面的迭代公式可以看出，采纳数值法进行迭代求优时，需要确定初始点 ( k) X(k X (k ) ( ( k ) d 和迭代步长 K ，称为优化方法迭代算法的三要素；第三章我们已经争论了 如何在搜寻方向 d ( k) ； d 上确定最优步长 K 的方法，本章我们将争论如何确定搜寻方向 最常用的数值方法是搜寻方法，其基本思想如下图所示： |精. |品. |可. |编. |辑. |学. |习. |资. |料. * | * | * | * | |欢. |迎. |下. |载. 无约束优化方法可以分为两类；一类是通过运算目标函数的一阶或二阶导数值确定搜寻方向的方法，称为间接法，如最速下降法、牛顿法、变尺度法和共轭梯度法；另一类是直接利用目标函数值确定搜寻方向的方法，称为直接法，如坐标轮换法、鲍 威尔法和单形替换法；各种无约束优化方法的区分在于确定其搜寻方向 0d 的方法不同； 最速下降法 最速下降法是一个求解极值问题的古老算法， 1847 年由柯西（ Cauchy）提出； 4.1.1 最速下降法的基本原理 由其次章优化设计的数学基础可知，梯度方向是函数增加最快的方向，负梯度方向是函数下降最快的方向，所以最速下降法以负梯度方向为搜寻方向，每次迭代都沿着负梯度方向进行一维搜寻，直到满意精度要求为止；因此，最速下降法又称为梯度法；由公式（ 4.2 ） X ( K 1) X ( K ) ( K ) d( d ( k) (k 0,1,2, ) 可知，如某次选代中己取得点 X ，从该点动身，取负梯度方向 d ( k ) f ( X (k ) ) f ( X (k )