3无约束优化.ppt

　　 (五)变尺度法 　　基本思想　利用牛顿法的迭代形式，构造一个对称正定矩阵A(k)来代替目标函数F(X)的[H(X)]-1，并在迭代过程中使其逐步逼近[H(X)]-1。 　　算法特点　简化了牛顿法的计算，且保持了牛顿法收敛快的优点。 　　说明： 　　⑴ 当A(k)＝I(单位矩阵)时，上式为梯度法的迭代公式； 　　⑵ 当A(k)＝[H(X)]-1 时，上式为牛顿法的迭代公式。 　　在实际应用中，当k=0时，一般令A(0)＝I。因此，变尺度法在最初的几步迭代，与梯度法类似，函数值下降较快；在最后几步迭代，与牛顿法相近，可较快地收敛到极小点。 　　1. 构造变尺度矩阵应遵循的原则 　　⑴ A(k)必须是对称正定矩阵，以保证算法具有下降性质。 ⑵ A(k)具有简单的递推形式，以保证算法的方便性。 A(k+1) =A(k) +E(k) 式中　E(k) 为第k次的校正矩阵。 　　⑶ 要求迭代产生的搜索方向S(k)=-[A(k)]T▽F(X(k))关于矩阵H(X(k))共轭，以保证算法的二次收敛性。 　　2. 变尺度法的一般步骤 　　⑴ 选定初始点X(0)和收敛精度ε； 　　⑵ 计算g(0)=▽F(X(0))，选取初始对称正定矩阵A(0)＝I，k←0； 　　⑶ 计算搜索方向S(k)=－A(k)g(k)； 　　⑷ 沿S(k)方向进行一维搜索X(k+1)=X(k)+α(k)S(k)，计算g(k+1)=▽F(X(k+1))，ΔX(k)=X(k+1) －X(k)， Δg(k)=g(k+1) －g(k)和E(k) ； 　　 　　 ⑸ 判断是否满足迭代终止准则，若满足，则X*=X(k+1)，停止计算。否则转⑹； 　　⑹ 当迭代n次后还没找到极小点，重置A(k)＝I ，并以当前设计点为初始点X(0) ←X(k)，返回⑵进行下一轮迭代，否则转⑺； 　　⑺ 计算A(k+1) =A(k) +E(k) ，置k←k+1，返回到⑶ 。 　　说明　校正矩阵E(k)的不同计算公式，确定了不同的变尺度法，如DFP(Davidon-Fletcher-Powell)法，BFGS(Broyden-Fletcher-Goldfarb-Shanno)法等。 　　例　用DFP法求 的极小值。设初始点 　　解： 　　DFP法的校正矩阵计算公式为 　　利用迭代公式 　　式中 取A(0)=I，得新迭代点 　　对于X(1)点 按校正公式计算矩阵A(1) 于是计算出新的迭代点X(2) 　　对F(X(2))求极小即可得α(1)，重复以上迭代过程。通过三次迭代，即可求得最优点。 0 0 0 6.000 5.000 3 1.000 9.06 ×10-15 2.55 ×10-9 3.81×10-7 6.000 5.000 2 0.4942 4.985 4.431 -1.108 8.215 4.862 1 0.1308 45.000 6.000 24.000 9.000 8.000 0 α(k) F(X(k)) x2(k) x1(k) k 迭代主要数据 　　　后两次迭代时，矩阵A(k)为 其逆阵 　　可见A(k)是在迭代过程中逐次向[H(k)]-1逼近的。 　　 (六)坐标轮换法 　　基本思想　每次仅对多元函数的一个变量沿其坐标轴进行一维搜索，其余变量均固定不动，并依次轮换进行一维搜索的坐标轴，完成第一轮搜索后重新进行第二轮搜索，直到找到目标函数在全域上的最小点为止。　 　　Si(k)轮流取n维空间各坐标轴的单位向量ei(i =1,2,…,n) 　　算法特点　其效能与目标函数的维数有关。当维数增加时效率下降，一般适用于n10。另外，此方法的效能在很大程度上取决于目标函数的性质。　 坐标轮换法的搜索过程 　　坐标轮换法搜索过程的几种情况 　　 　(a)搜索有效　　　　　　(b)搜索低效　　　　　　　　(c)搜索无效 　　(七)修正鲍威尔方法 　　基本思想　直接利用函数值构造共轭方向，并且在第k+1轮搜索中，形成新的方向组时进行判断，避免线性相关的搜索方向。 基本鲍威尔法的搜索路线 　　迭代步骤 　 ⑴ 给定初始点X(0)和收敛精度ε，令X0(k)=X(0)； 　 ⑵由基向量ei构成方向组Si(k)=ei (i=1,2,…n)，第一轮搜索，置k=1； ⑶ 从X0(k)，依次沿Si(k) (i=1,2,…n)方向进行一维搜索，得到n个一维极小点　 　 ⑷ 收敛判断：若满足||Xn(k)－X0(k)||≤ε，并且|F(Xn(k))－F(X0(k))|≤ε，则令X*=Xn(k) ，F(X*)=F(Xn(k))，结束迭代；否则转⑸；　　 ⑸ 求第k次迭代中各方向上目标函数下降值F(Xi-1(k))－F(Xi(k))，并找出其中最大值Δm