机械优化设计--常用的无约束优化方法.pptVIP

* 1、坐标轮换法 计算效率较低 适合维数较低，目标函数无导数或导数较难求得的函数 2、Powell法 具有二次收敛性，收敛速度较快，可靠性高，被认为是直接法中最有效的方法之一 无约束优化方法 ——直接法总结 * 4.6 无约束优化方法的评价准则 一.可靠性 在满足合理精度要求的情况下、在一定时间内对各类问题解题的成功率。（梯度法较好，牛顿法较差，其余居中） 二.有效性（收敛性） 在同一题目、同样精度、同一初始点情况下比较。（具有二次收敛性的方法较好） 三.简便性 比较准备工作量和存储单元。（用到二阶导数及矩阵求逆的方法较差） * DFP变尺度法 能否克服各自的缺点，综合发挥其优点？ 2）阻尼牛顿法 1）梯度法 一）问题的提出 由Davidan、Fletcher、Powell共同提出。 * 简单，开始时目标函数值下降较快，但越来越慢。 * 目标函数值在最优点附近时收敛快，但要用到二阶导数和矩阵求逆。 * 二）基本思路 2）迭代终了， 具有二阶收敛性。 *1）当 和梯度法一样，便于突破函数的非二次性； 式中， 1.Ak —构造矩阵（在迭代中产生，不用求导和作矩阵求逆） 迭代公式： ---拟牛顿方向 2. 自学构造矩阵的内容 * （3）第3轮迭代计算 此轮基本方向组为 ， ，起始点为 ＝ ，先后沿 ， 方向，进行一维搜索，得 ， 故最优解 检验终止条件 最优搜索步长为0 * 搜索方向s取该点的负梯度方向。 §4-3 梯度法 1.梯度方向 梯度方向是目标函数上升最快的方向，负梯度方向则是最速下降方向； 2.基本思想 迭代公式 *可取最优步长或下降步长 3. 终止判别条件 * 4. 迭代过程 （1）任选初始点 ，选定收敛精度 ； （2）求 处的梯度,并计算梯度的模； （3）判断是否满足迭代终止条件 ，若满足则输出最优解，否则到下一步； （4）从 出发，沿负梯度方向 作一维搜索求最优步长 ； 得到下一个迭代点 （5）k=k+1 ，返回步骤（2） * 给定 X(0) ，ε k=0 ，X（k）=X(0) k=k+1 X(k)=X(k+1) X*= X（k） F*=F(X*) 结 束 N Y 计算 从 出发，沿 搜索得 4.迭代过程 * “最速下降性”只是迭代点邻域的局部性质。从全局看，并非最速下降方向。 * 例求目标函数 的极小点 取初始点 ，迭代精度0.02 解： * 理论解:令 沿负梯度方向进行一维搜索，有 * 沿负梯度方向进行一维搜索，有 为一维搜索最佳步长，应满足极值必要条件 例 求目标函数 的极小点。 解 取初始点 则初始点处函数值及梯度分别为 * 算出一维搜索最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 * 用梯度法求目标函数 的最优解，已知 ，迭代精度 ，手工计算，迭代两次。 例： 解：函数的梯度 * 继续进行第2次迭代 第二次迭代：以 为起点， 沿 方向进行一维搜索 1.576 得到第2个迭代点 =-0.9902 * 5.梯度法特点 *前后两次搜索方向必定正交 *搜索路线呈锯齿形，越接近极小点，齿距越密，速度越慢。 *初始点可任选，每次迭代计算量小，存储量少，程序简短。 * §4-4 共轭梯度法 1.基本思想 对梯度法作一个修正，每轮搜索方向为一组共轭方向, 但第一方向为负梯度方向。 *利于突破函数的非二次性; 最优点附近，用二次函数逼近，非常接近原函数。 离最优点较远处，用二次函数逼近，误差大。 * 2.共轭方向的构成 为共轭系数 * 因为 （A是二次函数的Hessian 矩阵） 二次函数 其梯度为 故有 故有 又 （正交） 因而， 3. 共轭系数 * * K n 给定X0, n, ε K=1, X(K)=X0 S(K)= -▽F(X(K)) 从X(K)始，沿S(K)进行一维搜索得X(K+1) K=K+1 是 是 否 否 计算 结 束 重置负梯度方向 4.迭代步骤 * 例求目标函数 的极小点 取初始点 * 5.共轭梯度法的特点 1）.为共轭方向法,具有二次收敛性; 2）.算法简单,编程容易,存储