无约束优化计算方法剖析.ppt

§4.5 多变量无约束优化设计方法小结 例： 解： 用 Poweel法、共轭梯度法、牛顿法、变尺度 (DFP)法进行计算，并进行比较。 §4.5 无约束优化设计方法小结 Poweel法 共轭梯度法 牛顿法 变尺度 (DFP)法 迭代次数 搜索次数 搜索方向 收敛速度 存储量 适用维数 稳定性 2 2 1 2 6 2 1 2 共轭方向 零阶算法 一阶算法 二阶算法 超线性 较慢 二次收敛 收敛最快 二次收敛 小 中 最大 较大 存储量随n2↑ 随n↑，t↑↑ n20 n200～300 好 中 差 中下 §4.3.2 Poweel 法 6. 方法评价： 计算步骤复杂; 是二次收敛方法，收敛快。对非正定函数，也很有效; 是比较稳定的方法。 5. 说明： 若是正定二次函数，n 轮迭代后收敛于最优点 x* 。 若是非正定二次函数，则迭代次数增加。 若是 n 维问题，步骤相同。 搜索方向：第一轮迭代，沿初始方向组 Si(1) (i=1,2,…,n) 的 n 个方向和共轭方向 S(1)，搜索 n+1 次得极值点 xn+1(1) ；第二轮迭代，沿方向组 Si(2) ( i=1,2,…,n；i≠m ) 的 n-1 个方向和共轭方向 S(1)，构筑共轭方向 S(2) 搜索 n+1次得极值点 xn+1(2) 。其中，为保证搜索方向的线性无关，去除了 Sm(2) 方向 。 在第 k 轮迭代中，为避免产生线性相关或近似线性相关，需要去除前一轮中的某个方向 Sm(k)。——去除的原则请自学。 §4.3.2 Poweel 法 §4.3.2 Poweel 法 Poweel法计算框图 例4-2 用Powell法求函数 §4.3.2 Poweel 法 的最优点x*=[x1*，x2*]T。计算精度要求ε＝0.0001 　　解：取初始点 x0（1）＝x(0)=[0，0]T，第一轮迭代的搜索方向取两个坐标的单位向量 从　 出发，先从 方向进行一维最优搜索，计算出最优步长 由此得最优点 4.3.3　单纯形法 单纯形法 　　单纯形法是一种利用n维设计空间中的几何图形不断向好点移动迭代的一种算法。 单纯形法是在n维设计空间内由n+1个顶点组成的几何形体，如在二维空间，单纯形为三角形，在三维空间内为四面体等。若各顶点间的距离相等，则称为正单纯形。 (a) 二维空间三角形的反射　(b) 三维空间四面体的收缩 4.3.3　单纯形法 　　单纯形法迭代的基本要点是如何保证单纯形不断地向优点移动并使单纯形缩小直到趋于一点。这个过程是通过所谓反射，收缩和扩展三种运算实现的。 　　设单纯形的n+1个顶点为xj(j=1，2，…，n+1) 计算出它的目标函数值f(xj)，并从中确定出目标函数值最小的点xl 和最大点xh ,即 并计算出除xh点外的其余所有点的形心x0 。即 然后可以进行单纯行的移动运算 ： ： 　　如果 xh为单纯形顶点中目标函数值最大的顶点，如图(a)所示，则应以形心为镜面像其对面反射可能获得目标函数值小于它的点xr，即称反射点，即 其中 为反射系数。这样xr 点将位于xh 和x0的连线上，它与x0点的距离为 4.3.3　单纯形法 　　如果 f(xr) 的值小于f(xh) ，则xr 为一个新的单纯形，如图中的三角形x1x2xr。如果反射点xr的目标函数值，刚好等于xh的目标函数，则这两点刚好是目标函数脊线为镜面的对称点，这时将使搜索过程陷入死循环，对此可以利用目标函数值次最大值点xg，用它进行反射得新的xr 或是用xr替换xg点形成一个新的单纯形。 (1) 反射： 4.3.3　单纯形法 　　如果反射点xr的f(xr) ＜ f(x1) 则xr 为一