第四章无约束方法讲解.pptVIP

二）基本思路 * * 2）迭代终了， 具有二阶收敛性。 *1）当 和梯度法一样，便于突破函数的非二次性； 式中， Ak —构造矩阵（在迭代中产生，不用求导和作矩阵求逆） 迭代公式： ---拟牛顿方向 §4-7 DFP变尺度法 三）构造矩阵应满足两个条件 * 1） 应为正定对称矩阵； (1) 应为对称矩阵； E和 均为对称矩阵 (2) 应为正定矩阵； 因为 应使 为函数下降方向,即 与 的夹角应小于900: 二次型正定 * * Hession矩阵 * * 2） 能逼近 以近似二次函数的梯度作为下一迭代点处的梯度: 其梯度 用 代替 , 得 拟牛顿条件 * * 四） 的构造方法 用递推方法构造 于是有 关键是确定 校正矩阵 (1) 再令 (2) 代入(1): 两边对比得: 回代到(2)得: (3) 待定常数 可保证AK的对称性 * * 五.迭代步骤 是 是 否 否 因计算机的舍入误差，构造矩阵的正定性可能遭到破坏，故作n次后重置单位矩阵。 * 六） DFP变尺度法的Matalb程序 例：应用DFP变尺度法计算程序求函数 的极小点。 解：编写用户程序： %opt_conju_cs_test1.m clc; clear all; fun = inline(x(1)^2+2*x(2)^2-2*x(1)*x(2)-4*x(1)+x(2),x); x0=[0,0],TolX=1e-6;TolFun=1e-6;MaxIter=20; th=0.5; [xo,fo]=opt_conju_cs(fun,x0,th,TolX,TolFun,MaxIter) 计算结果为： xo=[ 3.5 1.5],fo = -6.25。 §4-8 无约束优化方法的评价准则 一）可靠性 在满足合理精度要求的情况下、在一定时间内对各类问题解题的成功率。（梯度法较好，牛顿法较差，其余居中） 二）有效性（收敛性） 在同一题目、同样精度、同一初始点情况下比较。（具有二次收敛性的方法较好：牛顿法、共轭梯度法） 三）简便性 比较准备工作量和存储单元。（用到二阶导数及矩阵求逆的方法较差：牛顿法、阻尼牛顿法） * * 小结：无约束优化方法 * * 1) 坐标轮换法; 2) 鲍威尔法; 3) 梯度法; 4) 共轭梯度法; 5) 牛顿法; 6) DFP变尺度法. 无约束优化直接解法 无约束优化导数解法 * * 根据一元函数极值的必要条件和多元复合函数求导公式，得 * * 为了使目标函数值沿搜索方向 能够获得最大的下降值，其步长因子 应取一维搜索的最佳步长。即有 * * 在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。这就是说在迭代点向函数极小点靠近的过程，走的是曲折的路线。形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。 图 最速下降法的搜索路径 sk sk+1 * * * * 三）方法特点 （1）初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。 （2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。 §4-4 梯度法 （3） “最速下降性”只是迭代点邻域的局部性质。从全局看，并非最速下降方向。 * 简单，开始时目标函数值下降较快，但越来越慢。 * * 给定 X0 ，ε K=0 ，X（K）=X0 K=K+1 X(k)=X△ X*= X（K） f*=f（X*） 结 束 N Y 计算 从 出发，沿 搜索得 * “最速下降性”只是迭代点邻域的局部性质。从全局看，并非最速下降方向。 四.迭代步骤 * * 沿负梯度方向进行一维搜索，有 为一维搜索最佳步长，应满足极值必要条件 例：求目标函数 的极小点。 解 取初始点 则初始点处函数值及梯度分别为 * * 算出一维搜索最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 * * 将上例中目标函数 引入变换 其等值线由椭圆变成一簇同心圆。 仍从