规划数学非线性规划基本知识.ppt

（2）局部极值和全局极值极小点局部极小点全局极小点严格局部极小点非严格局部极小点非严格全局极小点严格全局极小点例如：图中一元函数f定义在区间[ab]上为严格局部极小点，非严格局部极小点a为严格全局极小点第9页,共38页，星期六，2024年，5月凸（凹）函数定义:设函数在凸集上有定义,如果对任意和属于及任何实数?（）则称是上的凸函数.（3）凸函数、凹函数及凸规划凸（凹）函数二阶判别定理：设是非空开凸集上的二阶连续可微函数，则为凸函数的充分必要条件是在上半正（负）定。第10页,共38页，星期六，2024年，5月第11页,共38页，星期六，2024年，5月凸规划若为凸函数为凹函数，则该非线性规划为凸规划。定义：第12页,共38页，星期六，2024年，5月凸规划性质：设是凸规划问题的一个局部最优解，则是全局最优解。如果是严格凸函数，则是唯一全局最优解。证明：反证法设是凸规划的局部最优解但不是全局最优解，则存在可行解满足由可行域为凸集，则为可行解由是凸函数即在的任意小邻域内存在函数值小于的可行解与是局部极小点矛盾。证毕。第13页,共38页，星期六，2024年，5月（4）多元函数的泰勒公式多元函数Taylor展开式在最优化理论中十分重要。许多方法及其收敛性的证明都是从它出发的。下面就给出多元函数Taylor展开式：的二阶泰勒展开例5用泰勒公式将函数在点解：第14页,共38页，星期六，2024年，5月给出极小点的一个初始估计值令设其中：为一个方向向量，为一个实数（称为步长）依次用（1）式计算得一个点列若有：则称（1）为下降迭代算法1）定义：4下降迭代算法令第15页,共38页，星期六，2024年，5月例6试求目标函数在点处的负梯度方向，并求沿这个方向移动一个单位长度后新点的目标函数值。解：由于则函数在处的负梯度方向是这个方向上的单位向量是：新的点为：第16页,共38页，星期六，2024年，5月（2）确定最佳步长：在已知的情况下求（1）确定搜索方向：不同的搜索方向对应不同的算法定理：式（1）中按最佳步长得到的新的点处的梯度和其搜索方向正交。即证明：得即为最佳步长第17页,共38页，星期六，2024年，5月例7：试求目标函数在点处的负梯度方向，并求沿这个方向移动最佳步长后新点的目标函数值。解：由于则函数在处的负梯度方向是第18页,共38页，星期六，2024年，5月2)收敛性：若其中为极小点。则称该算法是有效的下降算法得到的点列不一定收敛到极小点，它依赖于初始点的选择。例显然为极小点初始点选不可能收敛于初始点选第19页,共38页，星期六，2024年，5月3)收敛速度：设收敛于若存在与迭代次数无关的数和使得从开始都有