chap9 无约束条件下多变量函数的寻优方法.pptVIP

第九章 无约束条件下多变量函数的寻优方法 无约束非线性规划问题的求解方法分为解析法和直接法两类。解析法需要计算函数的梯度，直接法仅通过比较目标函数值的大小来移动迭代点。本节介绍变量轮换法、单纯形搜索法等直接方法和最速下降法、牛顿法、共轭梯度法、变尺度法等解析方法。 一般来说，无约束非线性规划问题的求解是通过一系列一维搜索来实现。因此，如何选择搜索方向是解无约束非线性规划问题的核心问题，搜索方向的不同选择，形成不同的求解方法。? 9.1 变量轮换法（因素交替法） 基本原理：有利的搜索方向是各坐标轴的方向 多变量转变为一系列单变量的寻优问题 9.2 单纯形搜索法（可变多面体搜索法，单纯形法） 单纯形：En中具有n＋1个顶点的凸多面 体 基本思想：给定一个单纯形，求n+1个顶点的函数值，确定其中的最大值，次大值和最小值，然后通过反射、扩张、内缩、缩边等方法，求出一个较好点，取代最大值，构成新的单纯形。 极小化f(x1,x2)为例 计算步骤： 给定：平面不共线三点 ，构成初始单纯形 反射系数 ，扩张系数 ，内缩系数 ，允许误差 。 1、计算顶点函数值，求出最大fH,次大fG，最小fL，确定搜索方向(极小点在最大点与其余点的形心的连线上)。 2、反射 （1）计算形心 （2）得到反射点 （3）计算反射点和形心的函数值 3、扩张（或内缩甚至缩边） 4、检验是否满足收敛标准 2维 n维 区别： 1、给定n+1个初始单纯形顶点（保证不降维） 2、形心的计算 计算举例： 例2 找下一点 于是 几何分析 9.4 牛顿法 2．阻尼牛顿法 2．阻尼牛顿法 9.5 共轭梯度法 2．正定二次函数的共轭梯度法 共轭梯度法的计算步骤 3 、非二次函数的共轭梯度法 9.6 变尺度法（DFP法、拟牛顿法） 2．DFP变尺度法 * 适用：各变量之间本质上无联系 或沿坐标轴方向搜索比较容易的特殊结构 例：用变量轮换法求解 初始点为 9.3 最速下降法 最速下降法是由法国著名数学家Cauchy于1847年首先提出。该方法将目标函数 在 的负梯度方向 作为下降迭代法的迭代公式 中 ，并通过求解 ，确定最佳步长 。 最佳步长 最速下降法的计算步骤： 例1： D(1,1) 对于等值线为圆的无约束极小化问题，不管初始点选在哪里，只要一次迭代即可求得最优解。 例3 用最速下降法求解： ,初始点 ， 精度。 解 ＝ = = 故得到近似解 ，满足精度要求。 例 用牛顿法求解 ，初始点 解： ， 第2次迭代： 第1次迭代： 继续迭代得 ， ，… 问题的最优解是 ，可以看出， 牛顿法收敛速度是较快的。 阻尼牛顿法与牛顿法的区别在于增加了沿牛顿方向的一维搜索，其迭代公式是 例： 二次凸函数用牛顿法只要一次迭代即达最小点。 1.??? 共轭方向与正定二次函数 设A为n×n对称正定阵，X和Y是n维欧氏空间En中的两个向量，若有 XTAY=0，则称X和Y关于A共轭，或X和Y关于A正交。 设A为n×n对称正定阵，若向量组 中任意两个向量关于A共轭，即满足条件 ，则称该向量组关于A共轭。 定理 设A为n×n对称正定阵 ， 为A共轭的非零向量，则这一向量组线性无关。 定理 设向量