华中科技大学工程优化设计无约束间接法.pptVIP

总结 梯度法---需要一阶导数, 适用于复杂目标函数初始搜索. 牛顿法---需要二阶导数,Hesse阵非奇异,速度快,但维数不宜 太高. 共轭梯度法---需要一阶导数.适用于维数较高(50以上),速度 远超过梯度法,但有效性比变尺度法差. 变尺度法----需要一阶导数.适用于维数较高(一般10-50,最高 达到100以上),最好的无约束间接搜索方法. 无约束间接搜索方法 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 工程优化设计 内容提要 工程优化问题建模 优化数学理论 一维搜索方法 无约束问题直接搜索方法 无约束问题间接接搜索方法 约束问题直接搜索方法 线性规划与二次规划问题求解 约束问题间接搜索方法 启发式算法 优化软件系统 无约束间接搜索方法 一.梯度法(最速下降法) 间接法: 利用函数的性态,通过函数微分或变分求优。 梯度法,牛顿法,共轭梯度法,变尺度法(拟牛顿法) (1) 算法思想 梯度的负方向代表目标函数下降最快的方向, 以负梯度方向作为一维搜索方向。 f(x)=f(x0)+(x-x0)T?f(x0)+O((x-x0)2) ?f(x0)+(x-x0)T?f(x0) 设 x=x0+?d, |d|=1 f(x)?f(x0)+ ?dT?f(x0) 由于| dT?f(x0) |?|d|*|?f(x0) |, 或|ab|=|a||b|cos(?) ?|a||b| 所以 d=? ?f(x0)/| ?f(x0) |时, | dT?f(x0) |最大. 即:如果? 一定, 在d=-?f(x0)/| ?f(x0) |时, f(x)下降最快 ?f(x0) d f(x)=2 f(x)=1 x0 f(x)=0 无约束间接搜索方法 一.梯度法(最速下降法) (2) 算法 无约束间接搜索方法 一.梯度法(最速下降法) (3) 算法分析 1.开始下降较快,当接近最优点时, 下降速度变慢,呈锯齿路线. 2.优点是算法简单. 局部下降最快不等于整体下降最快!! 无约束间接搜索方法 二.牛顿法 (1) 算法思想 梯度法基于一次逼近,牛顿法基于二次逼近, 可以提高收敛速度. =?(X)= =0 牛顿法迭代公式 广义牛顿法中一维搜索 无约束间接搜索方法 二.牛顿法 (2) 算法(广义牛顿法) 无约束间接搜索方法 二.牛顿法 (3) 算法分析 收敛阶定义: 1-牛顿方向,2-梯度方向 牛顿法在现有算法中收敛速度最快; 但要求二阶可微,计算逆矩阵,计算量大,另外收敛与否依赖于 初始点的选择. 无约束间接搜索方法 三.共轭梯度法 (1) 算法思想 结合共轭方向法和梯度法的优点, 将相互共轭的搜索方向,同时取为与当前点 梯度方向相关方向. 一般共轭梯度法: 初始化. g0= ?f(x0), 选择d0使 d0Tg00. 如果|gk|eps, 结束. 一维搜索 xk+1=xk+ak dk :min f(xk+ak dk). 选择dk+1,使dk+1THdj=0, j=0,1,…,k. H=?2f(xk) k=k+1,转步2. 无约束间接搜索方法 无约束间接搜索方法 三.共轭梯度法 性质1: 设x0,x1,x2,…,xk, gi=?f(xi), di为共轭搜索方向,即 xi+1=xi+aidi, 则 gi+1Tdj=0, j=0,1,…,i. gi+1=?f(xi+1) xi di xi+1 已知一般情况下，有： gi+1Tdi=0; 实际上当di之间共扼时，有： gi+1Tdi=0， gi+1Tdi-1=0，… 即，gi+1垂直di, di-1,…，d1 张成的子空间（或平面）。 xi-1 di-1 无约束间接搜索方法 三.共轭梯度法 性质1: 设x0,x1,x2,…,xk, gi=?f(xi), di为共轭搜索方向,即 xi+1=xi+aidi, 则 gi+1Tdj=0, j=0,1,…,i. 证明: f(x)=0.5xTHx-bTx, gi=?f(xi)=Hxi-b, 使ri=gi= Hxi-b gk+1-gk=H(xk+1-xk)=aHdk 在一维精确搜索时, 当ji时, gi+1Tdj= gj+1Tdj+ gi+1Tdj= gj+1Tdj+ (gj+2Tdj-gj+1Tdj)+ (gj+3Tdj-gj+2Tdj)+…+(gi+1T