无约束多维问题的优化方法.pptVIP

为什么要研究多维无约束优化问题???

(1)、有些实际问题，其数学模型本身就是一个多维无约束优化问题。

(2)、通过熟悉它的解法可以为研究多维约束优化问题打下良好的根底。

(3)、多维约束优化问题的求解可以通过一系列多维无约束优化方法来到达。所以多维无约束优化问题的解法是优化设计方法的根本组成局部，也是优化方法的根底。;多维无约束优化问题是：

求n维设计变量

使目标函数：

;多维无约束优化方法算法的根本过程是:;4.1坐标轮换法;根据上述原理，对于第k轮探索，其迭代计算公式为：

式中——步长

——探索方向;*;*;*;*;*;*;例：试用坐标轮换法求目标函数

的极小值，设初始点。;六〕算法特点;4.2最速下降(梯度)法;根据一元函数极值的必要条件和多元复合函数求导公式，得;;例：最速下降法求目标函数极小点。

解取初始点

那么初始点处函数值及梯度分别为;算出一维搜索最正确步长;这一问题的目标函数f(x)的等值线为一簇椭圆。;β;经变换后，只需一次迭代，就可找到最优解。;最速下降法的特点:;4.3牛顿法〔二阶梯度法〕及其改进;;经过一次迭代即求得极小点，

函数极小值。;阻尼牛顿法称序框图

;牛顿法和阻尼牛顿法统称为牛顿型方法。这类方法的主要缺点是每次迭代都要计算函数的二阶导数矩阵，并对该矩阵求逆。这样工作量很大。特别是矩阵求逆，当维数高时工作量更大。

;一般迭代式：;4.4变尺度法;消除了函数的偏心，用最速下降法只需一次迭代即可求得极小点。;;进行尺度变换;牛顿迭代公式：;在例题;求得：;2、构造尺度矩阵Ak;2〕BFGS算法(Broyden-Fletcher-Goldfrob-Shanno);;例：用DFP算法求以下问题的极值：

;沿S0方向进行一维搜索，得

;;;为一维搜索最正确步长，应满足;梯度为零向量,海赛矩阵正定。可见点满足极值充要条件，因此为极小点。;DFP变尺度法的几点说明:;DFP变尺度法的几点说明:;4.5共轭梯度法;α0S0;α0S0;如果能够选定这样的搜索方向，那么对于二元二次函数只需顺次进行S0、S1两次直线搜索就可以求到极小点x*，即有

;就是使S1直指极小点x*，S1所必须满足的条件。;;3.共轭梯度法;那么：;将式;，初始点[1,1]T;得:;得;4.6鲍威尔〔POWELL〕方法;梯度和等值面相垂直的性质,Sj和xk,xk+1两点处的梯度gk,gk+1之间存在关系:

;2.根本算法;;把二维情况的根本算法扩展到n维，那么鲍威尔根本算法的要点是：

在每一轮迭代中总有一个始点〔第一轮的始点是任选的初始点〕和n个线性独立的搜索方向。从始点出发顺次沿n个方向作一维搜索得一终点，由始点和终点决定了一个新的搜索方向。

用这个方向替换原来n个方向中的一个，于是形成新的搜索方向组。替换的原那么是去掉原方向组的第一个方向而将新方向排在原方向的最后。此外规定，从这一轮的搜索终点出发沿新的搜索方向作一维搜索而得到的极小点，作为下一轮迭代的始点。这样就形成算法的循环。;因为在迭代中的n个搜索方向有时会变成线性相关而不能形成共轭方向。这时张不成n维空间，可能求不到极小点，所以上述根本算法有待改进。;为此，要解决两个关键问题：

〔1〕Sk＋1是否较好？是否应该进入新的方向组？即方向组是否进行更新？

〔2〕如果应该更新方向组，Sk＋1不一定替换方向，而是有选择地替换某一方向。;那么在循环中函数下降最多的第m次迭代是;这样重复迭代的结果，后面加进去的向量都彼此对G共轭，经n轮迭代即可得到一个由n个共轭方向所组成的方向组。对于n次函次，最多n次就可找到极小点，而对一般函数，往往要超过n次才能找到极小点〔这里“n”表示设计空间的维数〕。;例3.4-5用改进的鲍威尔法求目标函数

的最优解。初始点[1,1]T，迭代精度;以为起点，沿第二坐标轴方向e2进行一维搜索;;由于满足Powell条件，那么淘汰函数值下降量最大的方向e1，下一轮的根本方向组为e2，。;〔2〕第2轮迭代计算;反射点及其函数值

;检验终止条件;实际上，前两轮迭代的，为共轭方向，由于本例目标函数是二次函数，按共轭方向的二次收敛性，故前两轮的结果就是问题的最优解，但每一轮迭代都需要进行n+1次迭代。

;表2无