第四章无约束最优化的直接方法综述.ppt

第四章 无约束最优化的直接方法;1 单纯形：Rn中的单纯形指具有n+1个顶点的多面体，若各棱长彼此相等，则称为正规单纯形。如：在R2中，三角形就是单纯形，正三角形就是正规单纯形。（正三角形是R2中周长一定包围面积最大的布点方式） 结论： 对于任意给定初始点z1和正数l，按如下公式取定的单纯形是一个以为z 1顶点棱长为l的Rn中的正规单纯形： v 1= z 1 , v i = z1+z(i) i=2,3,4…n+1 其中n 维向量z(i)=[q ~ q,pi-1,q … q]T 如:z(2)=[p,q … q]T.z(n+1)=[q,q … p]T.其中;证明：当i=2,3…n+1时 将 p , q 代入上式有 当 i,j=2,3…n+1 时， 将值代入上式得： 由上可知上面确定的单纯形为正规单纯形。; 单纯形替换法由两步构成：形成初始单纯形和迭代。而迭代过程又包括四项操作：反射，延伸，收缩和减小棱长。 已知目标函数f(z)和终止限;从而得到比vh更好的点,这时???按3进行伸延，否则进入4.2进行收缩工作。 3 延伸 经过反射，若不仅有f(vr) f(vh),且进一步有f(vr)f(vl)，则说明沿vr- vo方向还可以向前迈一步，因此计算: ve= vo+r(vr -vo) ve称为vh的延伸点，r1是延伸系数，常取r=2,也可用直线搜索技术确定r. 此时若有f(ve) f(vh),则以ve替换vh，而其余n个顶点不变, 构成新单纯形，转6.; （如在R中，由图a知以Ve、Vi、Vl为顶点的新单纯形已向极小点靠近了一步。） 否则，以反射点替换构成单纯形，转6步（如R中，由图b可知以Vr、Vi、Vl为顶点的新单纯形向极小点靠近了一步） ;收缩分以下两种情况 4.2.1 若f(vr) =f(vh),即反射点比原来单纯形的坏点还坏，则舍弃vr，对方向vh- v0进行收缩。如图d 计算公式为; 若f(vc)f(vh)，即收缩点比原单纯形最坏点还坏，因此放弃vc点，转5步进行棱长减半工作。否则以vc替换vh构成新单纯形，转6。 4.2.2 若f(vr)f(vh)，则对向量vr--vo进行收缩（如图e），计算公式为 若f(vc)f(vh),即收缩点vc比反射点vr还坏，则放弃收缩点vc，转5进行棱长减半工作，否则以vc替换vh构成新单纯形，转6。;5 减小棱长。将原单纯形的最好点保持不动，各棱长减半，计算公式为 ;因 延伸成功。取; 故以x3 =（4，6）代替x2。f(x3 )=4代替。转入下一 次迭代。如此迭代下去最后可得极小点（5，6）T。; 这个方法由两类移动所构成，一类是探测性移动，另一类是模式性移动；前者为了揭示函数变化规律，探测函数f (x)下降方向，后者是利用发现的函数变化规律循着有利方向（也可看作近似梯度方向）寻找较好的点，可看成一种加速。 下面先对算法过程做一些说明，再给出算法过程。 给定初始点 x0 和步长 ?（也可对不同坐标方向给出不同步长: ，以向量 =( ) i= 1,2,3 …,n 描述步长） 探测性移动：从迭代点出发，依次沿坐标方向找下降点，为标出点与坐标方向之间的关系，采用记号 表示第 k 次迭代按坐标方向 ei 在探测性移动时得到的点。;下面以第一个坐标方向为例加以说明，取 ，先取试验点 ，若 ，则这一维探测完成。取 ，然后再对第二个分量探测。;（如各分量减半）重新开始探测性移动。若 充分小，则终止。;模式移动方向可以看作梯度方向的一个近似，因而本方法也可以看作是最速下降的一个近似。因此这个方法的收敛速度较慢。特别是在最优点附近，但当变量个数较少时，此方法可能是有用的。此方法也可以与其它方法结合使用，以便在最优化过程开始阶段找到一个较好的初始点。;;;;;;;§4.3 方向加速法; ; （2） P0…. Pm-1 是互为Q共轭的向量系，m＜n. （3）z 1 ,z