机械优化创新设计第三章一维优化方法.pptVIP

凸规划的性质 1）凸规划的可行域为凸集 2）凸规划的任何局部最优解就是全局最优解 §2.4 优化问题的几何解释 X* X* X* X* X* X* h1=0 h2=0 §2.5 优化方法的简单分类 按有无约束分类 无约束优化方法、约束优化方法 按目标函数的维数分类 一维优化方法、多维优化方法 按目标函数的数目分类 单目标优化方法、多目标优化方法 按求优途径的不同分类 直接法、解析法（间接法）、实验法、图解法 §2.6 迭代方法及其收敛准则 无论是直接法还是解析法，求优的过程都是采用数值迭代法，且迭代公式的形式一致。 迭代方法 X (k+1)=X (k) + ?(k) S(k) (k =0 , 1 , 2 , …) 两个特性 1）下降性: f (X (k+1)) f (X (k)) 2）收敛性 : 当k?∞时，X (k) ? X * f (X (0)) f (X (1)) … f (X (k)) f (X (k+1)) … ? f (X *) 确定步长 ?(k) 的方法 1）定步长法 取?(k) = p (p为常数) ，检验下列不等式 f (X (k) + ?(k) S(k) ) f (X (k)) ？ 若成立，则继续下一步迭代计算； 否则，取?(k) = ? p （0 ? 1），再检验不 等式 f (X (k) + ?(k) S(k) ) f (X (k)) ？ 直至满足为止。 2）最优步长法 用一维寻优方法确定?(k)： 若成立，则继续下一步迭代计算； 否则，取?(k) = ? p （0 ? 1），再检验不 等式 f (X (k) + ?(k) S(k) ) f (X (k)) ？ 直至满足为止。 搜索方向S(k) 的讨论 1）三种常用搜索方向 负梯度方向：S(k) = -? f (X (k)) 共轭方向：将n维优化问题转化为每一个循环n次一维搜索，依次取n个相互共轭的方向为搜索方向。 随机搜索方向： S(k) 随机产生，只要求沿S(k) 方向所得X (k+1)点处函数值下降。 2）S(k) 与 -? f (X (k))和 ? f (X (k+1))的关系 目标函数下降： f (X (k) + ?(k) S(k) ) — f (X (k)) 0 f (X (k) + ?(k) S(k) ) — f (X (k)) ? ?(k) ?T f (X (k)) S(k) 故 ?(k) ?T f (X (k)) S(k) 0 — ?T f (X (k)) S(k) 0 用一维优化方法确定?(k) 时，必须满足： f ? (X (k) + ? S(k) ) =0 所以 ?T f (X (k) + ? S(k) ) S(k) =0 即 ?T f (X (k+1) ) S(k) =0 第k次迭代的搜索方向S(k) 与目标函数在本次迭代所得点X (k+1)处的梯度方向? f (X (k+1) )正交。 X (k) X (k+1) S(k) -? f (X (k+1) ) 3）共轭搜索方向的一个重要性质 n维正定二次函数的n次收敛性 即 对于n维正定二次函数，若相继以一组相互共轭的向量S(0) 、 S(1) 、…、 S(n-1) 为搜索方向，则不论从任何初始点出发，经过n次一维搜索，就可以得到该正定二次函数的极小点。 收敛性与收敛准则 迭代算法应具有收敛性，即产生的极小点序列或者其中某一点就是极小点，或者序列有一个极限，它是目标函数的极小点。 点距准则： || X (k+1) —X (k) ||≤?1 （ ?1 ＞0） 函数下降量准则： | f (X (k+1) ) —f (X (k) ) |≤?2 （ ?2 ＞0） 梯度