P4-最优化设计-3.pptVIP

* * * 两个关键问题：是否更换？如何更换？ * * * * * * 优点（2），因此常将梯度法和其他优化算法结合，在计算前期用梯度法，当接近极小点时，改用其他算法，以加快收敛速度。 复杂的优化问题，等值线偏心越严重，迭代次数越多，形成“锯齿现象”，因此，对于复杂的优化问题，不具有实用价值。 * 牛顿法也是一种经典的优化方法，是一种解析法，是梯度法的进一步发展（从算法思想和迭代格式体现）。 优化的三个关键问题：1. 搜索方向；2.搜索步长；3.收敛准则； 牛顿法的搜索方向：目标函数的负梯度和Hessian矩阵。 搜索步长呢？ 牛顿法分为原始牛顿法和修正牛顿法两种 * 缺点（1）: 数值计算稳定性不好，可能收敛到鞍点，对起始点要求较高； * 缺点（1）: 数值计算稳定性不好，可能收敛到鞍点，对起始点要求较高； * * * * 变尺度内容非常丰富，算法很多，各种算法的主要区别在于采用不同的修正矩阵。比如，DFP，BFGS。 迭代开始时，矩阵A(k)为单位矩阵，搜索方向为负梯度方向； 迭代终止时，矩阵A(k)为Hessian矩阵的逆矩阵，搜索方向为牛顿方向； * * * * * 坐标轮换法是无约束多维优化方法中最简单的一种。 * 坐标轮换法是无约束多维优化方法中最简单的一种。 * * * * 坐标轮换法一般只能用于低维优化问题的求解。 为了克服坐标轮换法迭代路径曲折和收敛速度较慢的缺点，希望搜索方向尽可能指向目标函数的极小点，提出了共轭方向法。 * 共轭方向是优化设计中的一个重要概念，许多效果较好的优化方法都是以共轭方向作为搜索方向的。 向量正交是向量共轭的特例，或者说向量共轭是向量正交的推广。 * 共轭方向的形成有两种方法：1.平行搜索法；2.基向量组合法。 * * * * * * 共轭方向法的迭代过程可能会产生不理想的情况，在以后某环的迭代中可能出现基本方向组为线性相关的向量组。 以二维问题为例图示说明。 * 共轭方向法的缺陷：为了避免共轭方向法的迭代过程中可能出现的退化现象，Powell对共轭方向法进行了改进。 共轭方向法：1. 每一轮次都更换; 2.每一轮次的更换方法：用新方向替换第一个方向放在最末一个方向。 Powell法：1、每一轮次不一定进行更换；2.每一轮次的更换方法：不一定替换掉一个方向，而是替换函数值下降最多的方向。 第一个问题：选取n个线性无关的方向，并且共轭程度尽可能高的方向； 第二个问题：加快搜索的收敛速度。 * 两个关键问题：是否更换？如何更换？ * 通过是否更换和如何更换确定下一轮次搜索的方向组{S1,S2,…,Sn} 还有一个问题：迭代初始点如何选取? * * 5 机械最优化设计 5.3 无约束优化方法 5.3.3 不需要梯度信息的多维优化方法 坐标轮换法 基本共轭方向法 (基本Powell法) 修正Powell法 5 机械最优化设计 5.3 无约束优化方法 一维搜索方法 多维优化方法 间接法 梯度法 Newton法 变尺度法 直接法 坐标轮换法 共轭方向法 Powell 法 7次 1次 3次 10次 6次 6次 5 机械最优化设计 5.3 无约束优化方法 多维无约束优化方法 需要导数信息的方法 不需要导数信息的方法 搜索 方向 利用目标函数的一阶或二阶偏 导数信息来构造搜索方向 通过几个已知点上目标函数值的比较来构 造搜索方向 优点 收敛速度快 只需计算函数值，特别适合无法求导或求 导困难的函数 缺点 需要计算偏导数，计算量大 收敛速度较慢 分类 梯度法、牛顿法、变尺度法等 坐标轮换法、共轭方向法、Powell法等 第五章 机械最优化设计 5.1 最优化设计的基本概念 5.2 优化方法的数学基础 5.3 无约束优化方法 5.4 约束优化方法 * * * * * * * * * * * 为了达到缩短区间的目的，可在已确定的搜索区间内，选取计算点，计算函数值，并比较它们的大小，以消去不可能包含极小点的区间。 * 对于上述缩短后的新区间，可在其内再取一个新点，将此新点和该区间内剩下的一个内点进行函数值大小的比较，以再次按照上述方法，进一步缩短区间，这样不断进行下去，直到所保留的区间缩小到给定的误差范围内，而得到近似最优解。按照上述方法，就可得到一个不断缩小的区间序列，故称之序列消去原理。 * 为了达到缩短区间的目的，可在已确定的搜索区间内，选取计算点，计算函数值，并比较它们的大小，以消去不可能包含极小点的区间。 * * * * * * 计算待定系数：所构造的二次插值函数曲线通过原函数的三个点，将其带入方程，并求解系数。 * 作业：试用0.618法和二次插值法分别求解目标函数f(x)