优化设计第六次课.ppt

例：用DFP算法求函数 的极值解 ，迭代精度 。 当初始矩阵 ，选为对称正定矩阵时，DFP算法将保证以后的迭代矩阵 都是对称正定的，即使将DFP算法用于非二次函数也是如此，从而保证算法总是下降的。这种算法用于高维问题(如20个变量以上)，收敛速度快，效果好。DFP算法是无约束优化方法中最有效的方法之一，因为它不单纯是利用向量传递信息，还采用了矩阵来传递信息，但是，DFP算法由于舍入误差和一维搜索的不精确，有可能导致 奇异，从而使数值稳定性方面不够理想。所以在1970年提出了更稳定的变尺度算法公式，称作BFGS算法，其校正公式为 BPGS算法的计算步骤与DFP算法相同。 用DFP算法求函数 的极值解 ，迭代精度 。 课堂练习 小 结 最速下降法： 牛顿型方法： 共轭方向法： 变尺度法： 第六节 坐标轮换法 坐标轮换法是将多维问题转变为一系列较少维数问题的降维方法，它将多变量的优化问题轮流地转化成单变量(其余变量视为常量)的优化问题，因此又称这种方法为变量轮换法。在搜索过程中只需目标函数值信息，而不需要求解目标函数的导数，因此，相对于前面所介绍的几种优化方法而言，这种方法比较简单、直观。 坐标轮换法是属于前面所说的无约束优化问题诸多解法中的第二类方法中最简单的一种方法。这种方法是每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标轴方向轮流进行搜索的寻优方法。它把多变量的优化问题轮流转化成单变量的优化问题。在搜索过程中可以不需要对目标函数进行导数计算。只需反复求目标函数值。所以说这种方法要比前面讲的几种方法要简单得多。但是这种方法有一个致命的缺点就是收敛速度较慢。尤其在极值点附近步长很小，收敛得很慢。 一、坐标轮换法的基本原理 然后从 出发沿 方向搜索，得 ，其中步长因子 满足: 为第一轮( )迭代的终点。 以二元函数 为例说明坐标轮换法的迭代过程，如下图所示。 从初始点 出发，沿第一个坐标方向搜索，即 ，得 ，按照一维搜索方法确定最佳步长因子 满足： 检验始、终点间距离是否满足精度要求，即判断 的条件是否满足。若满足则 ，否则令 ，重新依次沿坐标方向进行下一轮( )的搜索。 对于 个变量的函数，若在第 轮沿第 个坐标方向 进行搜索，其迭代公式为 式中， 的上角标 表示所进行的第 轮搜索， 为在第 轮搜索中的第 个点(如对于上述二维问题， )。这里，搜索方向取坐标方向，即 。若 ，则 ，否则 ,进行下一轮搜索，一直到满足精度要求为止。 坐标轮换法具有算法简单，易于程序实现等特点。前面已经说过，坐标轮换法收敛速度较慢，这是由于此种方法自身的寻优方法决定的。一般在维数不是太多时比较适用。但是坐标轮换法的收敛速度实际还受到目标函数等值线（面）的性态影响。如以目标函数为二元二次函数为例说明此问题，如下图所示。 二、坐标轮换法的效能特点 精度要求 。 例：用坐标轮换法求目标函数 的无约束最优解，初始点 ， 第七节 鲍威尔法 一、共轭方向的生成 具有正定矩阵 的二次函数 另一方面，对于上述二次函数，其 、 两点处的梯度可表示为 两式相减，得 因而有 若取方向 则得 说明 和 对 共轭。根据共轭方向的性质，沿 方向分别对函数做两次一维搜索，得到两个极小点 、 ，则这两点的连线所形成的方向就是与 一起对 共轭的方向。通过上面的分析可知：对于二维问题，沿着此共轭方向做一次一维搜索即可找到目标函数的极值点。 二、鲍威尔法的基本算法 (1)任选一初始点 ，令 ，选择两个线性无关的向量，如坐标轴单位向量 和 作为初始搜索方向。 (2)从