第2章优化设计-3.pptx

　由前数值迭代法可知，求某目标函数的最优值时，迭代过程每一步的格式都是从某一定点 出发，沿着某一使目标函数下降的规定方向 搜索，以找出此方向的极小点 。这一过程是各种最优化方法的一种基本过程。　一维优化方法，它不仅可用来解决一维目标函数的求优问题，且常用于多维优化问题在既定方向上寻求最优步长的一维搜索。 §2.4 多维无约束优化方法本节主要内容 §2.4.1 梯度法§2.4.2牛顿法§2.4.3 变尺度法§2.4.4 坐标轮换法§2.4.5 鲍威尔法前言无约束优化问题的一般数学表达式为：　求解这类问题的方法，称为无约束优化方法。前言数值迭代法的基本迭代格式为：式中：X(k)——前一步已取得的设计方案（迭代点）；　X(k+1)——新的改进设计方案（新的迭代点）；　S(k)——第 k次迭代计算的搜索方向；　α(k) ——第 k次迭代计算的步长因子。数值迭代法寻找最优点X*，这里关键要解决二个问题：　●一是如何确定迭代步长α(k)；　●二是怎样选定搜索方向S(k)；各种无约束优化问题的区别：确定搜索方向方法的不同前言 多维无约束优化方法中，根据确定搜索方向所使用的信息和方法的不同，　无约束优化方法有很多种，但归纳可以分为两大类： ■ 解析法（间接法） ■ 直接法前言 通过几个已知点上目标函数值的比较来构造搜索方向Powell法、坐标轮换法直接法利用目标函数的一阶偏导数或二阶偏导数构造搜索方向梯度法、牛顿法、变尺度法间接法2.4.1 梯度法（最速下降法）梯度法的基本思想:取迭代点处的函数负梯度方向作为每次搜索方向，直至找到极小点，该法又称最速下降法。梯度法的迭代格式：2.4.1 梯度法（最速下降法）当方向sk给定，求最佳步长αk就是求一元函数的最优解：2.4.1 梯度法（最速下降法）梯度法的终止条件：≤ε2.4.1 梯度法（最速下降法）梯度法的迭代步骤 （1）任取初始点 ，选定收敛精度 ＞0，令 （2）计算。取搜索方向（3）若 则迭代终止，取 ，否则进行步骤（4）。（4）用一维搜索求 ，得最优步长 。（5）令 ，，返回步骤(2) 2.4.1 梯度法（最速下降法）2.4.1 梯度法（最速下降法）2.4.1 梯度法（最速下降法）例：用梯度法求目标函数 的最优解。取初始点 迭代精度解：函数的梯度：计算 点的梯度及其范数值：2.4.1 梯度法（最速下降法）第一次迭代：以 为起点沿 方向进行一维搜索，最优步长计算方法一，使用函数的性质计算2.4.1 梯度法（最速下降法）最优步长计算方法二，使用黄金分割法计算令用进退法求初始区间，首先假设则由于 ，所以向后探测。互换 的值。此时所以，初始为 [-0.1,0.1]用黄金分割法求最小值，得到2.4.1 梯度法（最速下降法）得到第一个迭代点：继续如下迭代计算：2.4.1 梯度法（最速下降法）2.4.1 梯度法（最速下降法）终止迭代，得最优解：2.4.1 梯度法（最速下降法）2.4.1 梯度法（最速下降法）2.4.1 梯度法（最速下降法）梯度法的讨论：步长因子的求解方法：解析法：根据极值点必要条件一维搜索方法：黄金分割法、二次插值法、 牛顿法等2.4.1 梯度法（最速下降法）2.4.1 梯度法（最速下降法）2.4.1 梯度法（最速下降法）梯度法的特点： (1)初始点可任选，每次迭代计算量小，存储量少，程序简单。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢变慢； (2) 任意相邻两点的搜索方向正交，它的迭代路径为绕到逼近极小点。当迭代点靠近极小点附近，步长变得很小，收敛速度越来越慢，这是梯度法的较大缺点。2.4.1 梯度法（最速下降法）例4.6 用梯度法求目标函数 的最优解。取初始点要求进行一步迭代，并判断是否收敛。2.4.1 梯度法（最速下降法）解：函数的梯度：计算 点的梯度及其范数值：2.4.1 梯度法（最速下降法）第一次迭代：以 为起点沿 方向进行一维搜索，最优步长计算方法一，使用函数的性质计算2.4.1 梯度法（最速下降法）得到第一个迭代点：需继续进行第二次迭代2.4.2 牛顿法 牛顿法是一种古典解析算法，它是梯度法的进一步发展。牛顿法可分为二：原始牛顿法和阻尼牛顿法两种。实际中应用较多的是阻尼牛顿法是根据目标函数的负梯度和二阶偏导数矩阵来构造的。该法的搜索方向的构造：2.4.2 牛顿法—原始牛顿法该算法的基本思路：它是以二次函数来逼近原目标函数。2.4.2 牛顿法—原始牛顿