第5章无约束优化的间接搜索法机械优化设计.ppt

第五章 无约束优化的间接搜索法 第一节 梯度法 一、基本思想 二、迭代计算公式 三、计算步骤及算法框图 四、应用举例 的极小点。取迭代精度ε= 0.01，并分别取： 1) 初始点 X(0) =[2 2]T 2) 初始点 X(0) =[0 2]T 五、梯度法的特点 举例(作业)： 用牛顿法求目标函数 f (X) = x12 + 25x22 的无约束最优解。初始点X1 (0) = [ 0 0 ]T ， X2 (0)= [2 2 ]T。 矩阵及其逆阵，因此计算工作量很大，特别是矩阵求逆，当维数高时工作量更大，且当海赛矩阵为奇异阵时，其逆阵不存在，无法使用牛顿法，所以在实际使用中受到一定限制。另外，从计算机存储方面考虑，牛顿法所需要的存储量是很大的。 若能设法构造一个矩阵来逼近海赛矩阵的逆阵而避免计算海赛矩阵及其逆阵，这样的方法统称为拟牛顿法。如只用梯度信息但比梯度法快的共轭梯度法，以及针对牛顿法提出的变尺度法等。 基本思想 §5.3 共轭梯度法 共轭梯度法属于共轭方向法中的一种方法。它是利用目标函数在迭代点X(k)的梯度来构造共轭搜索方向的，具有二次收敛性。 共轭梯度法搜索的第一步沿负梯度方向，以后各步沿与上次搜索方向相共轭的方向进行搜索。共轭梯度法的关键是如何在迭代过程中不断生成共轭搜索方向 共轭梯度法共轭搜索方向的生成 考虑二次函数 f (X) = 0.5 XT H X + BT X + C 从 X(k) 出发，沿H的某一共轭方向S(k)作一维搜索得到 X(k+1)，即 X(k+1) － X(k) = ?(k) S(k) （1） 将f (X)在 X(k) 和 X(k+1)两点处的梯度表示并记作 g(k) = ▽f (X(k) ) = H X(k) + B （2） g(k+1) = ▽f (X(k+1) ) = H X(k+1） + B （3） （3）-（2）得 g(k+1) － g(k) = H ( X(k+1) － X(k) )= ?(k) H S(k) （4） （4）式两边同时左乘[S(j) ]T，有 [S(j) ]T[g(k+1) － g(k) ]= ?(k) [S(j) ]TH S(k) = 0 若S(j)和S(k)关于H共轭，则有 [S(j) ]T H S(k) = 0 即 [S(j) ]T[ g(k+1) － g(k) ] = 0 （5） 式（5）就是共轭方向与梯度之间的关系。它表明沿方向S(k) 进行一维搜索，其终点X(k+1)与始点X(k)梯度之差(g(k+1)－g(k))与 S(k) 的共轭 方向S(j)与正交。共轭梯度法就是利用这个性质做到不必计算矩阵H就能求得共轭方向的。 1）设初始点X(0) ，第一个搜索方向S(0)取X(0)点的负梯度方向 -g(0)。即 S(0) = -g(0) 沿S(0)进行一维搜索，得X(1)=X(0) + ?(0) S(0)，并计算X(1)点的梯度 g(1) 。 那么， g(1)与S(0) 有什么关系呢？ X(0) g(1) -g(0) X(1) 二者正交，即 [g(1)]TS(0)=0 或 [S(0)]Tg(1) =0 因此，S(0)与g(1)构成平面正交系。 2）在S(0)与g(1)构成的平面正交系中求S(0)的共轭方向S(1)，以此作为下一步迭代计算的搜索方向。取S(1)为S(0)与g(1)的线性组合，即 S(1) = -g(1) + ?(0)S(0) 其中，?(0)为待定常数，可以利用共轭方向与梯度之间的关系求得。 由 [S(1) ]T[ g(1) － g(0) ] = 0 有 [ -g(1) + ?(0)S(0) ]T[ g(1) － g(0) ] = 0 展开，得 - [g(1)]Tg(1) +[g(1)]Tg(0)+?(0)[S(0)]Tg(1) - ?(0)[S(0)]Tg(0) = 0 所以 - [g(1)]Tg(1) - ?(0)[S(0)]Tg(0) = 0 所以 ?(0) = - [g(1)]Tg(1) / [S(0)]Tg(0)