华中科技大学工程优化设计-无约束间接法讲述.pptVIP

工程优化设计 内容提要 工程优化问题建模 优化数学理论 一维搜索方法 无约束问题直接搜索方法 无约束问题间接接搜索方法 约束问题直接搜索方法 线性规划与二次规划问题求解 约束问题间接搜索方法 启发式算法 优化软件系统 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 无约束间接搜索方法 * 一.梯度法(最速下降法) 间接法: 利用函数的性态,通过函数微分或变分求优。 梯度法,牛顿法,共轭梯度法,变尺度法(拟牛顿法) (1) 算法思想 梯度的负方向代表目标函数下降最快的方向, 以负梯度方向作为一维搜索方向。 f(x)=f(x0)+(x-x0)T?f(x0)+O((x-x0)2) ?f(x0)+(x-x0)T?f(x0) 设 x=x0+?d, |d|=1 f(x)?f(x0)+ ?dT?f(x0) 由于| dT?f(x0) |?|d|*|?f(x0) |, 或|ab|=|a||b|cos(?) ?|a||b| 所以 d=? ?f(x0)/| ?f(x0) |时, | dT?f(x0) |最大. 即:如果? 一定, 在d=-?f(x0)/| ?f(x0) |时, f(x)下降最快 ?f(x0) d f(x)=2 f(x)=1 x0 f(x)=0 一.梯度法(最速下降法) (2) 算法 一.梯度法(最速下降法) (3) 算法分析 1.开始下降较快,当接近最优点时, 下降速度变慢,呈锯齿路线. 2.优点是算法简单. 局部下降最快不等于整体下降最快!! 二.牛顿法 (1) 算法思想 梯度法基于一次逼近,牛顿法基于二次逼近, 可以提高收敛速度. =?(X)= =0 牛顿法迭代公式 广义牛顿法中一维搜索 二.牛顿法 (2) 算法(广义牛顿法) 二.牛顿法 (3) 算法分析 收敛阶定义: 1-牛顿方向,2-梯度方向 牛顿法在现有算法中收敛速度最快; 但要求二阶可微,计算逆矩阵,计算量大,另外收敛与否依赖于 初始点的选择. 三.共轭梯度法 (1) 算法思想 结合共轭方向法和梯度法的优点, 将相互共轭的搜索方向,同时取为与当前点 梯度方向相关方向. 一般共轭梯度法: 初始化. g0= ?f(x0), 选择d0使 d0Tg00. 如果|gk|eps, 结束. 一维搜索 xk+1=xk+ak dk :min f(xk+ak dk). 选择dk+1,使dk+1THdj=0, j=0,1,…,k. H=?2f(xk) k=k+1,转步2. 三.共轭梯度法 性质1: 设x0,x1,x2,…,xk, gi=?f(xi), di为共轭搜索方向,即 xi+1=xi+aidi, 则 gi+1Tdj=0, j=0,1,…,i. gi+1=?f(xi+1) xi di xi+1 已知一般情况下，有： gi+1Tdi=0; 实际上当di之间共扼时，有： gi+1Tdi=0， gi+1Tdi-1=0，… 即，gi+1垂直di, di-1,…，d1 张成的子空间（或平面）。 xi-1 di-1 三.共轭梯度法 性质1: 设x0,x1,x2,…,xk, gi=?f(xi), di为共轭搜索方向,即 xi+1=xi+aidi, 则 gi+1Tdj=0, j=0,1,…,i. 证明: f(x)=0.5xTHx-bTx, gi=?f(xi)=Hxi-b, 使ri=gi= Hxi-b gk+1-gk=H(xk+1-xk)=aHdk 在一维精确搜索时, 当ji时, gi+1Tdj= gj+1Tdj+ gi+1Tdj= gj+1Tdj+ (gj+2Tdj-gj+1Tdj)+ (gj+3Tdj-gj+2Tdj)+…+(gi+1Tdj-giTdj) d1 d2 d3 g1 g2 g3 三.共轭梯度法 性质2: 设x0,x1,x2,…,xk是一维精确搜索 产生的点列, gi=?f(xi), di为共轭搜索方向, 即 xi+1=xi+aidi, 如果令 则 βi=0, i=0,1,…,k-2. 即：dk=-gk+βk-1dk-1, d0=-g0. f(x)=0.5xTHx-bTx, gi=?f(xi)=Hxi-b, d1 d2 d3 g1 g2 g3 性质2证明: 设d0=-g0, d1=-g1+β11d0, d2=-g2+ β21d0+ β