第4章 无约优化方法.pptVIP

第4章 无约束优化方法 （1） 给定初始点X0 和收敛精度ε，置k=0； （2）?计算梯度，并构造搜索方向 原因：步长因子总是等于1 ， 解 1） 用基本牛顿法 2）? 用阻尼牛顿法 例4-4 用共轭梯度法求解例4-1。 解（1） 第一次迭代沿负梯度方向搜索。由例4-1得 4.4 鲍威尔（Powell）法 4.4.2 迭代过程 * * 模式法：利用某些点上的函数值构造搜索方向 如坐标轮换法、鲍威尔法等 求解无约束优化问题 min f（X） 的数值迭代解法，称为无约束优化方法。 方法的基本问题是： 选择搜索方向 不同的搜索方向，构成不同的无约束优化算法。 方法分 ： 导数法和模式法两类 导数法：利用梯度和二阶导数构造搜索方向 如梯度法、牛顿法、 变尺度法、共扼梯度法等 4.1 梯度法 梯度法是一种古老的优化算法，它的迭代方向是由负梯度构成的，也称最速下降法。 根据极值的必要条件和复合函数的求导公式，有 梯度法的迭代算式是 式中， 为最优步长因子，由一维搜索确定，即 或 X0 S0 S1 X* 此式表明： 相邻两迭代点的梯度是彼此正交的， 相邻的搜索方向相互垂直，如图所示。 由图可以看出： ① 向极小点的逼近路径是一条曲折的锯齿形路线，而且越接近极小点，前进速度越慢。 ② 离极小点较远时，一次迭代得到的函数下降量较大。 因此，许多收敛性较好的算法，第一步迭代都采用梯度法。 （3） 一维搜索，求新的迭代点 （4） 收敛判断：若满足 则令 X*=Xk+1，f（X*）=f（Xk+1）终止计算； 否则，令k=k+1，转（2）继续迭代。 梯度法的迭代步骤如下： 解（1）第一次迭代 求 令 令 则有 例4-1 用梯度法求解无约束最优化问题 已知 解得 因 还需继续迭代 （2）第二次迭代 同理有 解得 因 可知 也不是极小点 ，还应继续进行迭代。 此问题的最优解是 X*=[4，2]T，f（X*）=－8 用梯度法求解时，需要经过相当多次迭代才能得到一个近似的最优解。其中前两次的迭代路线如图所示。 X0 S0 S1 X* x1 x2 1 2 1 2 3 X2 X1 4.2 牛顿法 对上式求梯度，并设 X（k+1）是函数的极小点，则有 由此解得 牛顿法的搜索方向由目标函数的负梯度和二阶导数矩阵构造。 4. 2.1 基本牛顿法 将函数 f (X)在点Xk 处展成泰勒二次式： 令 则有 由此构成的算法称基本牛顿法，Sk 称牛顿方向。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极小点。故将此点作为下一个迭代Xk+1。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 分析可知： ⑷ 但是对于非正定函数，由上式得到的点Xk+1，不能始终保持函数的下降性， 基本牛顿法有可能失败。如图所示， 令 4.2.2 阻尼牛顿法 改进方法：引入步长因子和一维搜索。 由此构成如下阻尼牛顿法。 由此建立的算法就是阻尼牛顿法， 称阻尼因子 牛顿法的特点： ⑴ 构造搜索方向利用了函数的所有的一阶导数和二阶导 数，产生的搜索方向直指极小点； ⑵ 对于正定二次函数，从任意初始点出发，一次迭代即可得 到极小点。对于一般函数，迭代的次数比其它算法都要少。 ⑶ 每次迭代都需要计算函数的二阶导数矩阵及其逆矩阵。 计算量大，计算时间长，计算速度较慢。 ⑷ 计算中，用差分代替微分。所得梯度和二阶导数矩阵， 以及求得的牛顿方向都存在较大误差。 计算 例4-2 用牛顿法求解例4-1 已知 代入原函数 对α求导 因 故最优解是： 基本牛顿法不需一维搜索，因此计算速度较快。 两种方法都只进行了一次迭代，这是因为标函数是正定二次函数，基本牛顿法的局限性还没有显露出来的缘故。 此解与基本牛顿法的计算结果完全相同。 可以看出： 解得 因 最优解为 代入式泰勒展开式得 （2) 用坐标变换简化目标函数 基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 正定，必存在矩阵U 若 使 (4－12) 引入矩阵变换U，令 4.2.3 变尺度法 用 U 和 U-1 分别左乘和右乘式(4－12)，有 代入前式得 由此可见，通过坐标变换可以得到