无约束最优化问题的一般结构.ppt

函数的海赛阵：由此，在点处的海赛阵依次为：第10页,共22页，星期六，2024年，5月由于矩阵不定，则不是极小点．负定，则不是极小点，实际上它是极大点．正定，则是局部极小点．第11页,共22页，星期六，2024年，5月4.2无约束问题的最速下降算法第12页,共22页，星期六，2024年，5月问题提出问题：在点处，沿什么方向下降最快?分析：考查：显然当时，取极小值．因此：结论：负梯度方向使下降最快，亦即最速下降方向．第13页,共22页，星期六，2024年，5月最速下降法算法Step1:给出Step2:计算如果停．Step3:计算下降方向Step4:计算步长因子Step5:令转步２.第14页,共22页，星期六，2024年，5月第15页,共22页，星期六，2024年，5月4.3算法的收敛性收敛含义实用收敛准则（停机准则）收敛速度算法的二次终止性最速下降算法的收敛性第16页,共22页，星期六，2024年，5月收敛含义第17页,共22页，星期六，2024年，5月实用收敛准则第18页,共22页，星期六，2024年，5月收敛速度第19页,共22页，星期六，2024年，5月算法的二次终止性定义：若某个算法对于任意的正定二次函数，从任意初始点出发，都能经过有限步迭代达到极小点，则称该算法具有二次终止性。原因：正定二次函数具有某些好的性质，一个好的算法应该能在有限步内达到其极小点对于一个一般的目标函数，若在其极小点处的Hesse矩阵正定，则目标函数在该极小点附近于一个正定二次函数相似，因此对于正定二次函数好的算法，对一般目标函数也会有好的性质。第20页,共22页，星期六，2024年，5月最速下降算法的收敛性定理1:设在上存在且一致连续，则最速下降法产生的序列满足或者对某个有或者定理2:二次连续可微，其中是个正常数，对任何给定的初始点最速下降算法或有限终止，或者设且或者第21页,共22页，星期六，2024年，5月最速下降法优点(1)程序设计简单，计算量小，存储量小，对初始点没有特别要求．(2)有着很好的整体收敛性，即使对一般的目标函数，它也整体收敛．第22页,共22页，星期六，2024年，5月无约束最优化问题的一般结构4.1无约束问题的最优性条件一元函数的最优性条件无约束问题局部最优解的必要条件无约束问题局部最优解的充分条件无约束凸规划问题最优解的充要条件例子第2页,共22页，星期六，2024年，5月一元函数的最优性条件（１）若（２）为的局部极小点，则若则为的严格局部极小点；若（３）为的局部极小点，则：第3页,共22页，星期六，2024年，5月一阶导数为0，非极值点充分条件的一个例子：f(x)=x^3,f’(0)=0,f’’(0)=0第4页,共22页，星期六，2024年，5月无约束问题局部最优解的必要条件定理1:若为的局部极小点，且在内一阶连续可导，则注:(1)仅仅是必要条件，而非充分条件．(2)满足的点称为驻点．驻点分为：极小点，极大点，鞍点．第5页,共22页，星期六，2024年，5月无约束问题局部最优解的必要条件(续)定理2:若为的局部极小点，且在内二阶连续可导，则半正定．第6页,共22页，星期六，2024年，5月无约束问题局部最优解的充分条件定理3:若在内二阶连续可导，且正定,则为严格局部极小点．注:如果负定,则为严格局部极大点．第7页,共22页，星期六，2024年，5月无约束凸规划问题最优解的充要条件

定理4:设在上是凸函数且有一阶连续偏导数，则为的全局极小点的充要条件是第8页,共22页，星期六，2024年，5月例1：利用极值条件解下列问题：解：令即：得到驻点：第9页,共22页，星期六，2024年，5月