最优化方法课件03-1.pptVIP

第三章 无约束最优化方法 §3.1 最优性条件 定理 3.1.1 (一阶必要条件) 若x*为f (x)的局部极小点,且在x*的某邻域内具有一阶连续偏导数,则 二阶充分条件 定理 3.1.3(二阶必要条件) 若x*为f(x)的局部极小点,且在x*的某邻域内f(x)有二阶连续偏导数,则g*=0,G(x*)半正定. §3.2 最速下降法 引理 对于正定二次函数 精确一维搜索问题 的解为 设初始点为(9,1)T. 例 3.2.1的解 3.2.2 收敛性 1 整体收敛性 定理 3.2.1 设f(x)具有一阶连续偏导数,给定 x0∈Rn,假定水平集L={x∈Rn|f(x)≤f(x0)}有界,令{xk}为最速下降法产生的点列，则 或者(i)对某个k0,g(xk0)=0; 或者(ii) 2 用于二次函数时的收敛速度 §3.3 Newton法 设xk为f(x)的一个近似极小点,将f(x)在xk附近作Taylor展开, Newton法算例 例3.3.1 用Newton法求解 设初始点为 Newton法算例 例3.3.2 用Newton法求解 设初始点为 结果： 迭代点的路径图 Newton法的收敛性 定理3.3.1设f(x)是某一开集内的三阶连续可微函数,且它在该开集内有极小点x*,设G*=G(x*)正定,则当x0与x*充分接近时,对一切k,Newton法有定义,且当{xk}为无穷点列时,{xk}二阶收敛于x*, 即hk→0且||hk+1||=O(||hk||2) 其中hk=xk–x*. Newton法的优缺点 (1)如果G*正定且初始点合适,算法二阶收敛; (2)对正定二次函数,迭代一次就可以得到极小点; Newton法的改进 (1)阻尼Newton法以 pk= –Gk–1gk为下降方向进行精确一维搜索. (2)在Gk正定时,取 pk= –Gk-1gk;否则取pk= –Mk-1gk (3)拟Newton方法 无约束最优化问题 （3.1） （3.2） 无约束最优化问题找出 使得 设j(a)为一元函数,若a*为j(a)的局部极小点,则j’(a)=0. 定理 3.1.2(二阶充分条件) 若在x*的某邻域内f (x)有二阶连续偏导数且g*=0,G(x*)正定,则x*为问题(3.1)的严格局部极小点. 设j(a)为一元函数,若j’(a *)=0, j”(a*)0 则a*为j(a)的严格局部极小点, 定理 3.1.4 设f(x) 在Rn上是凸函数且有一阶连续偏导数,则x*为f(x)的整体极小点的充分必要条件是g*=0. 在某一点x,负梯度方向p= –g(x)是使目标函数f(x)下降最快的方向,称为最速下降方向. 3.2.1基本思想 求解问题（3.1）。假设迭代已得到 。在 点处，取搜索方向为 （3.3） 沿 进行一维搜索，由此确定 （3.4） 其中步长因子 满足 （3.5） （3.4）、（3.5）简单地合记为 （3.6） (3.4）或（3.6）称为最速下降迭代公式，由该公式 产生的算法称为最速下降法。 今后记 算法框图 因此 证明思路：考虑函数H(xk+a pk),其二次项与 一次项系数分别为 将最速下降法应用于正定二次函数 例 3.2.1用最速下降法求解 算法是线性收敛的. 对于正定二次函数,最速下降法的迭代公式为 由于x0=(9,1)T,g0=(9,9)T,可得 由归纳法可以证明 因此, 且 根据图形发现,两个相邻的方向是正交的. 锯齿现象 最速下降法的迭代点在向极小点靠近的过程中，走的是曲折的路线：后一次搜索方向 与前一次搜索方向 总是相互垂直的，称它为锯齿现象。这一点在前面的例题中已得到验证。除极特殊的目标函数（如等值面为球面的函数）和极特殊的初始点外，这种现象一般都要发生。 定理 3.2.2 设 ,其中G为正定矩阵， 设l1,ln表示G的最小与最大特征值，则最速 下降法产生的点列{xk}满足 最速下降法是线性收敛的,可以用 来衡量其收敛速度。 其中fk=f(xk),gk=g(xk),Gk=G(xk). 若Gk正定,则qk(x)有唯一极小点,该极小点即为Newton法取的xk+1. 显然 Newton迭代公式为 算法框图 解 因此 对于正定二次函数,Newton法总是一步迭代得到极小点. 解 根据Newton迭代公式xk+1=xk-Gk-1gk可以得到下面的结果. 1.63e-6 (1.9987342,-1.0001700)T 5 2.75e-12 (1.9999996,-1.0000016)T 6 2.53e-3 (1.9862783,-1.0482081)T 4 6.49e-2 (1.7459441,