最优化方法03-1预案.pptVIP

第三章 无约束最优化方法;无约束最优化问题;§3.1 最优性条件;定理 3.1.2(二阶充分条件) 若在x*的某邻域内f (x)有二阶连续偏导数且g*=0,G(x*)正定,则x*为问题(3.1)的严格局部极小点.;定理 3.1.3(二阶必要条件) 若x*为f(x)的局部极小点,且在x*的某邻域内f(x)有二阶连续偏导数,则g*=0,G(x*)半正定.;§3.2 最速下降法;3.2.1基本思想;今后记;算法框图;引理 对于正定二次函数 精确一维搜索问题 的解为;设初始点为(9,1)T.;算法是线性收敛的.;13;锯齿现象;3.2.2 收敛性 1 整体收敛性 定理 3.2.1 设f(x)具有一阶连续偏导数,给定 x0∈Rn,假定水平集L={x∈Rn|f(x)≤f(x0)}有界,令{xk}为最速下降法产生的点列，则 或者(i)对某个k0,g(xk0)=0; 或者(ii) ;定理 3.2.2 设 ,其中G为正定矩阵， 设l1,ln表示G的最小与最大特征值，则最速 下降法产生的点列{xk}满足;§3.3 Newton法;算法框图;Newton法算例;Newton法算例;结果：;迭代点的路径图;定理3.3.1设f(x)是某一开集内的三阶连续可微函数,且它在该开集内有极小点x*,设G*=G(x*)正定,则当x0与x*充分接近时,对一切k,Newton法有定义,且当{xk}为无穷点列时,{xk}二阶收敛于x*, 即hk→0且||hk+1||=O(||hk||2) 其中hk=xk–x*.;(1)如果G*正定且初始点合适,算法二阶收敛; (2)对正定二次函数,迭代一次就可以得到极小点;;(1)阻尼Newton法以 pk= –Gk–1gk为下降方向进行精确一维搜索. (2)在Gk正定时,取 pk= –Gk-1gk;否则取pk= –Mk-1gk (3)拟Newton方法