无约束优化计算方法.ppt

4无约束优化计算方法4.1引言4.2单变量优化计算方法4.2.1搜索区间的确定4.2.1搜索区间的确定例题程序框图格点法黄金分割法黄金分割法黄金分割法程序框图二次插值法区间的缩短分四种情况几种方法的比较格点法的结构及程序很简单，但效率偏低；黄金分割法的结构简单，使用可靠，但效率也不高；格点法和黄金分割法适于低维优化问题中的一维搜索；二次插值法及三次插值法的搜索效率较高，收敛速度快；三次插值法的效率更高于二次插值法。在同样搜索次数下，其计算精度更高，但程序略复杂，可靠性差些，对高维数的优化问题更适宜，经过某些技术处理，方法的可靠度可大为提高。4.3多变量优化计算的非梯度方法4.3.1坐标轮换法4.3.1坐标轮换法4.3.1坐标轮换法4.3.1坐标轮换法4.3.2Powell法4.3.2Powell法4.3.2Powell法4.3.2Powell法4.3.2Powell法4.3.2Powell法4.3.3单纯形法4.3.3单纯形法4.3.3单纯形法4.3.3单纯形法4.3.3单纯形法4.4多变量优化计算的梯度方法4.4.1梯度法程序框图4.4.1梯度法4.4.2共轭梯度法共轭梯度法流程图4.4.2共轭梯度法4.4.3牛顿法和修正牛顿法4.4.3牛顿法和修正牛顿法4.4.3牛顿法和修正牛顿法4.4.4变尺度法4.4.4变尺度法4.4.4变尺度法4.4.4变尺度法4.4.4变尺度法无约束优化方法的评价准则1、可靠性。即在合理的精度要求下，在一定允许时间内能解出各种不同类型问题的成功率。能够解出的问题越多，则算法的可靠性越好。2、高效性。即算法的解题效率。它有两个衡量标准。其一是对同一题目，在相同精度和初始条件下，比较机时多少。其二是在相同精度下，计算同一题目所需要的函数的计算次数。3、简便性。一方面指实现该算法的准备工作量的大小。另一方面指算法占用存储单元的数量。几种优化方法的特点可靠性：牛顿法较差，因为它对目标函数要求太高，解题成功率较低。高效性：坐标变换法和梯度法的计算效率较低，因为它们从理论上不具有二次收敛性。简便性：牛顿法和变尺度法的程序编制较复杂，牛顿法还占用较多的存储单元。无约束优化方法的选择在选用时，一方面要考虑优化方法的特点，另一方面要考虑目标函数的情况。

1、对于维数较低或者很难求得导数的目标函数，坐标轮换法或鲍威尔法较合适。

2、对于二次性较强的目标函数，牛顿法效果好。

3、对于一阶偏导数易求的目标函数，梯度法可使程序编制简单，但精度不宜过高。

4、综合而言，鲍威尔法和DFP法具有较好的性能。作业P87：4-2；4-5；4-6；4-7。DFP算法的迭代步骤步骤⑴任取初始点给出迭代精度ε.计算初始点精度及其模若转步骤⑺，否则进行下一步。⑵置k←0，取Ak←E⑶计算迭代方向沿方向做一维搜索求优化步长，使确定下一个迭代点DFP算法的迭代步骤步骤⑷计算的梯度及其模，若则转步骤⑺，否则转下一步。⑸计算位移矢量和梯度矢量差按DFP公式计算构造矩阵⑹置k←k+1。若kn，返回步骤⑶，否则返回步骤⑵。⑺输出最优解（x*，F*），终止计算。目标函数性态对优化效能的影响：4.3.2.1共轭方向证明：迭代过程：x1x2x3?1=0?2e2?3e3S1(f3)(f2)(f1)映射点函数下降量△鲍威尔算法的方向淘汰k+1轮迭代的初始点：满足判别条件，选；否则选与中函数值较小点。反射次最大值点；

或用反射点替换次最大值点。扩展成功；

扩展不成功。收缩成功；

收缩不成功：各顶点向好点移动。4.4.1梯度法入口k=0，计算：-?f(x0)||?f(xk+1)||??？出口求?(k)，x(k+1)=x(k)+?(k)S(k)计算：?f(xk+1)x*=xk+1f(x*)=f(xk+1)YN给定：x(0)，?kn