0第07-1节无约束 (多维)最优化.pptVIP

最速下降法框图 特点：线性收敛，易产生扭摆现象而造成早停。 （当x(k)距最优点较远时，速度快，而接近最优点时，速度下降） 原因：f(x)=f(x(k))+▽f(x(k)) T(x-x(k)) + o||(x-x(k))2|| 当 x(k)接近 x* ，时 ▽f(x(k) ) →0，于是高阶项 o||x-x(k)||的影响可能超过▽f(x(k)) T(x-x(k)) 。 四、变尺度法算法框图： 六、变尺度法的主要特点 　⑴只需用到函数的一阶梯度；（Newton法用到二阶Hesse阵） 　⑵下降算法，故全局收敛； ⑶不需求矩阵逆；（计算量小） ⑷一般可达到超线性收敛；（速度快） ⑸有二次终结性。 FR算法特点： 1、全局收敛（下降算法）；线性收敛； 2、每步迭代只需存储若干向量（适用于大规模问题）； 3、有二次终结性（对于正定二次函数，至多n次迭代可达opt.） bandem %香蕉最优化展示 expo-style banana optimization 例 解 4.6.3 一、共轭方向和共轭方向法 共轭是正交的推广。 1．定义 7.5 共轭梯度法 2．共轭方向 设直线 AB和CD过椭圆中心，且CD平行于椭圆在点A，B的切线，则称AB与CD为共轭直径， 与 的方向为共轭方向，（或A,B的切线方向与 称为共轭方向）见图1。 ? - AB ? - CD ? - AB 的方向 A B C D 图1 定理1 3. 几何意义 4.共轭方向法 5. 共轭梯度法—— 如何选取一组共轭方向？ 以下分析算法的具体步骤： 基本思想 对于 例 解： 6.用于一般函数的共轭梯度法 对不同的βi公式，对于正定二次函数是相等的，对非正定二次函数，有不同的效果，经验上PRP效果较好。 2. 牛顿法 3. 拟牛顿法(变尺度法) 1、梯度法（最速下降法）： 多变量无约束优化搜索方法 3. 拟牛顿法(变尺度法) 4. 特殊拟牛顿法1——DFP算法： 5. 特殊拟牛顿法2——BFGS算法： 多变量无约束优化搜索方法 ; ) ( : k k k x f H d ? - = 搜索方向 * 第七章 无约束 (多维)最优化 梯度法（最速下降法） 牛顿法与拟牛顿法 变尺度法(DFP法) 共轭梯度法 模式搜索法 Powell法 单纯形加速法 最小二乘法 序 无约束最优化问题 解析方法：利用函数的解析性质——驻点，得到最优解。 数值方法：利用函数的解析性质构造迭代公式使之收敛到最优解。 无约束问题的最优性条件 定理1 定理2 ?梯度为0的点称为函数的驻点。 ?驻点可能是极小点，也可能是极大点，也可能即不是极大也不是极小，这时称为函数的鞍点。 ?定理2说明：UMP问题的局部最优解必是目标函数的驻点。 注： （一阶必要条件） 定理3 定理4 （二阶充分条件） （若改成Hesse矩阵半正定，则成为二阶必要条件） 迭代公式： 如何选择下降最快的方向？ 7.1 梯度法（最速下降法） 一、梯度法（最速下降法）： 二、梯度法算法步骤： x(1), ε 0, k=1 || ▽f(x(k) ) || ε 或 || d(k) || ε ? Yes stop. x(k) –解 No d(k)= －▽f(x(k) ) 解 min f(x(k)+λ d(k)) s.t. λ 0 得 x(k+1)=x(k)+λkd(k) k=k+1 解： 例１ 三、最速下降法的特点 1.性质. 2.最速下降法的锯齿现象 如果用f(x)的Taylor展开近似计算？——牛顿法 1.问题 7.2 Newton 法 如果用f(x)的Taylor展开近似计算？ 2. 算法思想 3. 算法步骤 算法框图（一维） 给定初始点x0和精度 是 是 停止，输出x0 是 否 停止，解题失败 否 停止，输出x1 否 例1： 解： 取x 0=1,计算： 迭代过程如下表： 1.137 0.1163 0.1169 2 -0.001061 3 1.3258 -0.5178 -0.5708 1 0.5000 0.7854 1 0 （ii）编写M文件nwfun.m如下： function [f,df,d2f]=nwfun(x); f=x(1)^4+25*x(2)^4+x(1)^2*x(2)^2; df(1)=4*x(1)^3+2*x(1)*x(2)^2; df(2)=100*x(2)^3+2*x(1)^2*x(2); d2f(1,1)=12*x(1)^2+2*x(2)^2; d2f(1,2)=4*x(1)*x(2); d2f(2,1)=d2f(1,2); d2f(2,2)=30