第五章无约束优化的间接搜索法电子教案.pptVIP

机械优化设计;第五章 无约束优化的间接搜索法; 基本思想 ; 举例： 用梯度法求目标函数 f (X) = x12 + 4x22 的无约束最优解。初始点X1(0)= [ 0 0 ]T ， X2(0)= [ 2 2 ]T。; f (X) ? f (X (k)) + ?T f (X (k)) (X - X (k)) + 0.5 (X - X (k)) T ?2 f (X (k)) (X - X (k))=? (X) ; 牛顿法的迭代公式为 X (k+1) = X (k) - [?2 f (X (k)) ]-1 ?f (X (k)); 计算步骤及算法框图 ; 4）计算X (k)点的海赛矩阵?2 f (X (k))及其逆矩阵[?2 f (X (k))] -1 ;举例： 用牛顿法求目标函数 f (X) = x12 + 4x22 的无约束最优解。初始点X1(0)= [ 0 0 ]T ， X2(0)= [ 2 2 ]T。;X2(1)= X2(0) - [?2f (X2(0))]-1 ?f (X2(0) ) ;矩阵及其逆阵，因此计算工作量很大，特别是矩阵求逆，当维数高时工作量更大，且当海赛矩阵为奇异阵时，其逆阵不存在，无法使用牛顿法，所以在实际使用中受到一定限制。另外，从计算机存储方面考虑，牛顿法所需要的存储量是很大的。; 基本思想; 共轭梯度法共轭搜索方向的生成;（3）-（2）得;方向S(j)与正交。共轭梯度法就是利用这个性质做到不必计算矩阵H就能求得共轭方向的。; 2）在S(0)与g(1)构成的平面正交系中求S(0)的共轭方向S(1)，以此作为下一步迭代计算的搜索方向。取S(1)为S(0)与g(1)的线性组合，即 S(1) = -g(1) + ?(0)S(0) 其中，?(0)为待定常数，可以利用共轭方向与梯度之间的关系求得。;所以 - [g(1)]Tg(1) - ?(0)[S(0)]Tg(0) = 0; 故有 [ -g(1) + ?(0)S(0) ]T g(2) = 0 （6） ; 3）在g(0)、g(1)、g(2)构成的空间正交系中求与S(0)及S(1)均共轭的方向S(2)，以此作为下一步迭代计算的搜索方向。仍取S(2)为g(0)、g(1)、g(2) 的线性组合，即 S(2) = -g(2) + ?(1) g(1) + ?(0) g(0) 其中， ?(1) 、 ?(0) 为待定常数，可以利用共轭方向与梯度之间的关系求得。; 即 [-g(2) + ?(1) g(1) + ?(0) g(0) ]T [ g(1) － g(0) ] = 0 [-g(2) + ?(1) g(1) + ?(0) g(0) ]T [ g(2) － g(1) ] = 0 ; 因此 S(2) = -g(2) + ?(1) g(1) + ?(0) g(0) = -g(2) - ?(1) g(1) - ?(1) ?(0) g(0) = -g(2) + ?(1) [- g(1) - ?(0) g(0) ] = -g(2) + ?(1) S(1); 沿着这些共轭搜索方向一直搜索下去，直到最后迭代点处梯度的模小于给定的允许值为止。若目标函数为非二次函数，经n次搜索还未达到最优点时，则以最后得到的点作为初始点，重新计算共轭方向，一直到满足精度要求为止。; 3） X(k+1) = X(k) + ?(k) S(k) ( k = 0, 1, 2, …, n) ?(k) 为一维搜索所得的最佳步长。; S(k+1) = - ▽f (X(k+1) ) + ? (k) S(k) 并令 k ? k+1，转3）。; 2）由于n维设计空间中最多只能有n个线性无关的向量，所以n维优化问题的共轭方向最多只有n个。因此，共轭梯度法进行n步搜索后，若仍不满足精度要求，继续产生共轭方向S(n+1)进行迭代搜索是没有意义的（效果很差），而应令X(0) = X(n) ，重新开始新一轮的共轭梯度法迭代搜索。实践证明，这样处理一般都可以取得较好的效果。;举例： 用共轭梯度法求目标函数 f (X) = x12 + 4x22 的无约束最优解。初始点X(0)= [