第四章无约束优化设计.ppt

4-4 共轭梯度法 4-4-3 共轭梯度方向 从任意点 出发，沿负梯度方向作一维搜索得： 设与 共轭的下一个方向 由 和点 的负梯度的线性组合构成，即： 由共轭条件： 所以： 得： 4-4 共轭梯度法 如令函数近似等于泰勒二次展开式： 则： 又： 有： 4-4-4 共轭梯度法的迭代步骤 4-4 共轭梯度法 （1）给定初始点 和收敛精度 ； （2）取 的负梯度作为搜索方向； 置k=1 （3）沿方向 作一维搜索 （4）收敛判断：若满足： ，则令： 结束迭代；否则，转（5）； （5）若k=n则令： ，转（2）开始新的一轮迭代， 否则转（6）， （6）构造新的迭代方向： 并令k=k+1, 转（3） 4-4 共轭梯度法 共轭梯度法是以函数的梯度构造共轭方向的一种算法，具有共轭方向的性质。 1、对于正定二元二次函数，沿两个共轭梯度方向进行一维搜索，经过两次迭代即可达到极小点。 2、对于一般正定二次函数，沿一组共轭梯度方向依次进行一维搜索，最多n次迭代即可达到极小点。 3、对于一般函数， 当n次迭代还未达到极小点时，应将第n个迭代点作为新的起始点，重新产生一组新的共轭方向，继续迭代，直到满足精度为止。 共轭梯度法具有超线性收敛速度。 4-4 共轭梯度法 例题：用共轭梯度法求解无约束优化问题，已知： (1)第一次迭代 求梯度: 搜索方向: 新的迭代点与函数值: 对这种简单问题，可以直接用解析法求步长因子 的极小值。 4-4 共轭梯度法 令: 收敛判断： 应继续迭代 得: (2)第二次迭代 4-4 共轭梯度法 新的函数值: 令: 得: 因: 所以: 只需两次迭代就可得到极小点. 不用导数的方法又称最优化搜索法，一般情况，利用导数迭代寻优比搜索法速度快。然而利用导数寻优常常面临两个困难： ·在多变量或复杂函数中，求导困难。 ·执行方法前准备工作太多。 因此，对使用者来说，非导数型搜索法还是常用的。 ? 4-5 鲍威尔法 1．直接搜索法 ①坐标轮换法 该法是在寻优过程中，每次先让其它变量不变，轮流的顺次令某一个变量变化并取函数f(X)极小点（或极大点）。 起始点为X(0)，先沿第1个坐标方向e1进行搜索，得最佳步长?(0)及最优点X(1)，使满足： f(X(0)+ ?e1)=f(X(0)+ ?(0)e1)=f(X(1)) 即 X(1)= X(0)+ ?(0)e1 4-5 鲍威尔法 然后以X(1)为起点，沿e2坐标搜索，得最优解X(2)，即 ( X(1)+ ?e2)= f(X(2))， ∴X(2)= X(1)+ ?(1)e2 ┇ 直到en为止，得X(n)： min f(X(n－1)+ ?en)= f(X(n－1)+ ?(n－1)en)=f(X(n)) 即 X(n)= X(n－1)+ ?(n－1)en 若‖X(n)－X(0)‖?1，则停止，得最优解X(n)=X*，否则，以X(n)为起点（?令X(0)= X(n)）重新按上述步骤搜索。 4-5 鲍威尔法 这种方法简单、直观，但对于山脊形函数或自变量间有大的交互作用不适用。 例如图4-11所示函数就不宜用该法寻优。 最优点 终点 x2 x1 X(0) 图4-11 4-5 鲍威尔法 4-5 鲍威尔法 鲍威尔法是利用平行搜索法逐渐构造共轭方向和共轭方向组，并沿共轭方向进行一维搜索以逐渐逼近极小点的算法。它不需要计算函数的导数，是模式法中最好的一种算法，具有超线性收敛速度。 4-5-1 基本迭代格式 以n个基向量 构成初始方向组 ，由点 出发，沿 中的n个方向作n次一维搜索得到点 ，再以 和 的连线作为第一个新产生的方向： 沿方向 作一维搜索的点 ，并以此点作为下一轮迭代的起始点，即令： 4-5 鲍威尔法 以 代换原方向组 中的某一个基向量 ，构成新的方向组 。从点 出发，分别沿 中的n个方向作n次一维搜索，得到点 。令： 则： 与 相共轭。 沿方向 作一维搜索的点 ；