非线性无约束规划 (2).pptVIP

第1页，共36页，星期日，2025年，2月5日1）方向导数设M0位数量场u=u(M)中的一点,从点M0出发引一条射线l,在l上点M0的附近取一动点M,记如果时，下列表达式的极限存在则称之为M0处沿着l方向的方向导数.记为,则当时,表示函数u沿l是增加方向,当时,表示函数u沿l是减小方向。1.方向导数与梯度第2页，共36页，星期日，2025年，2月5日2)梯度：根据方向导数公式可以知道是其变化率最快的方向,称为梯度,记为Gradu.如果用表示l线上的单位矢量,则方向导数可以写成3)梯度的性质：1)方向导数等于梯度在该方向的投影,即2)数量场u=u(M)中任一点M处的梯度,垂直于过该点的等值面,且指向u(M)增大的一方.第3页，共36页，星期日，2025年，2月5日2.海瑟矩阵海瑟矩阵是对称形式：第4页，共36页，星期日，2025年，2月5日3.非线性规划问题的展开形式3)多元函数泰勒公式的矩阵形式：其中1)线性函数：f(X)=CTX+B=?cixi+B2)二次函数：f(X)=(1/2)XTQX+CTX+Bf(x)=f(x*)+?fT(x)△xi+(1/2)△xiT?2f(x*)△xi+o‖△xi‖2第5页，共36页，星期日，2025年，2月5日4.凸集、凸函数和凸规划-请自己复习1)定理:f(x)为凸集S上的凸函数?S上任意有限点的凸组合的函数值不大于各点函数值的凸组合。2)凸函数的判定:如果函数f(X)的Hesse矩阵处处半正定，则f(X)为凸函数，若f(X)正定，则f(X)为严格凸函数。思考：设f1,f2是凸函数，设?1,?20,?1f1+?2f2,?1f1-?2f2是否凸函数？f(x)=max{f1(x),f2(x)},g(x)=min{f1(x),f2(x)}是否凸函数？凸规划=凸可行集+凸目标函数第6页，共36页，星期日，2025年，2月5日5.无约束问题的最优性条件1.必要条件：若X*是函数f(X)的局部最小点，则在该点必有?f(X*)=0以及Hesse矩阵?2f(X*)半正定定义:对于可微函数f(X),称使其梯度为零向量的点为平稳点（驻点）。2.若X*是驻点，则其为极值点的充分条件:1)若H(X*)半正定，X*为局部极小点；若H(X*)正定，X*为孤立局部极小点；2)若H(X*)半负定，X*为局部极大点；若H(X*)负定，X*为孤立局部极大点；3)若H(X*)不定，X*为鞍点；请阅读课本的例题。第7页，共36页，星期日，2025年，2月5日6最优化问题的数值解VS解析解1.解析解与数值解(结构:x(k+1)=x(k)+?kd(k).)注意获得解析解的困难性。2、收敛性概念：考虑(fs)设迭代算法产生点列{x(k)}x(k)}?S.1)算法的理想收敛：设x*∈S是(fs)的最优解，如果x*∈{x(k)}，或者虽然x(k)≠x*，但是?k，满足则称算法收敛到最优解x*。第8页，共36页，星期日，2025年，2月5日最终解的分类1)局部最优解；2)全局最优解；3)严格全局最优解。解序列对于初始点的依赖4)全局收敛：对任意初始点x(1),算法均收敛。5)局部收敛：当x(1)充分接近解x*时，算法才收敛。7.非线性最优解的概念第9页，共36页，星期日，2025年，2月5日6）实用收敛性：定义最优解集如下