lxt第4章 无约束优化方法2【荐】.pptVIP

第四章 无约束优化方法 §4-1 概述 一）研究无约束优化方法的意义 一类有约束优化方法，往往能转化成无约束问题，易于采用无约束优化方法求解; 有些问题可先作无约束问题求解，然后采用有约束方法求出最优解。 二）解法分类 §4-2 坐标轮换法 一、方法概述 二、迭代过程 二、迭代过程 §4-3 鲍威尔法 设A为n阶对称正定矩阵，若有两个n维矢量S1和S2 ，满足： 鲍威尔法 §4-2 Powell法 迭代过程 二）Powell法（ Powell修正算法） 2)Powell对基本算法的改进 在获得新方向构成新方向组时,不是轮换地去掉原来的方向,而是经判别后,在n+1个方向中留下最接近共轭的n个方向. 三）Powell条件 四）更换方向的步骤 迭代步骤 §4-4 梯度法 一）梯度方向 梯度法特点： 梯度法每次迭代都是沿迭代点函数值下降最快的方向搜索，因而梯度法又称最速下降法。 这种方法搜索路线常常很曲折，收敛速度较慢。对于等值线为圆的优化问题，梯度法一次迭代就可以达到极小点；当等值线不是圆，负梯度方向不再指向圆心，迭代次数增加，偏心越严重，迭代次数越多，形成锯齿现象。且在搜索开始时步长越大，愈接近极小点步长愈小，最后收敛的速度极其缓慢。 因此，对于比较复杂的优化问题，梯度法不具有实用价值。但由于梯度法在迭代开始时函数值下降得较快，因此常用于其他方法中作初始迭代法。 梯度法的优点是迭代过程简单，对初始点要求不高，虽要计算导数，但只要求一阶偏导，存储单元较少。 §4-5 共轭梯度法 §4-6 牛顿法 二）阻尼牛顿法 牛顿法的特点 §4-7 DFP变尺度法 二）基本思路 三）构造矩阵应满足的条件 §4-8 无约束优化方法的评价准则 一）可靠性 在满足合理精度要求的情况下、在一定时间内对各类问题解题的成功率。（梯度法较好，牛顿法较差，其余居中） 二）有效性（收敛性） 在同一题目、同样精度、同一初始点情况下比较。（具有二次收敛性的方法较好） 三）简便性 比较准备工作量和存储单元。（用到二阶导数及矩阵求逆的方法较差） 牛顿法不仅利用了函数的一阶导数信息，还利用了函数的二阶导数信息，故其收敛速度较梯度法快很多。但是牛顿法要计算黑塞矩阵及其逆矩阵，计算量储存量较大，且都以维数n2比例增加，维数高时这个问题更加突出。此外，若黑塞矩阵是奇异时，其逆矩阵不存在，这种方法就根本不能应用 能否克服各自的缺点，综合发挥其优点？ 2）阻尼牛顿法 1）梯度法 一）问题的提出 由Davidan、Fletcher、Powell共同提出。 * 简单，开始时目标函数值下降较快，但越来越慢。 * 目标函数值在最优点附近时收敛快，但要用到二阶导数和矩阵求逆。 2）迭代终了， 具有二阶收敛性。 *1）当 和梯度法一样，便于突破函数的非二次性； 式中，1.Ak —构造矩阵（在迭代中产生，不用求导和作矩阵求逆） 迭代公式： ---拟牛顿方向 2. 1） 应为正定对称矩阵； (1) 应为对称矩阵； E和 均为对称矩阵 (2) 应为正定矩阵； 因为 应使 为函数下降方向,即 与 的夹角应小于900: 二次型正定 2） 能逼近 以近似二次函数的梯度作为下一迭代点处的梯度: 其梯度 用 代替 , 得 拟牛顿条件 四. 的构造方法 用递推方法构造 于是有 关键是确定 校正矩阵 (1) 再令 (2) 代入(1): 两边对比得: 回代到(2)得: (3) 待定常数 可保证AK的对称性 五.迭代步骤 是 是 否 否 因计算机的舍入误差，构造矩阵的正定性可能遭到破坏，故作n次后重置单位矩阵。 轧机 CAD/CAM/CAE 研究室 1) 坐标轮换法; 2) 鲍威尔法; 3) 梯度法; 4) 共轭梯度法; 5) 牛顿法; 6) DFP变尺度法. 对于一个n维目标函数，如果在没有任何限制条件下寻求它的极小点，称无约束极小化问题或无约束优化问题。数学上表达为: Min F(X) X∈Rn 无约束优化方法 间接法（解析法） 直接法 梯度法 牛顿法 DFP变尺度法 坐标轮换法 ?鲍威尔法 确定搜索方向时用到一阶或（和）二阶导数的方法。 其搜索方向直接取定或由计算目标函数值所得的信息来确定； 坐标轮换法的基本构思是将一个 n 维优化问题转化为依次沿 n 个坐标方向反复进行一维搜索问题。这种方法的实质是把n维问题的求优过程转化为对每个变量逐次进行一维求优的循环过程。 任选初始点???????????????????????????????