04无约束优化方法.pptVIP

无约束优化方法 本章介绍的是数值方法。其中最常用的是搜索方法，即给定初始点和搜索方向，沿着该方向寻找最优点。 根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分成两类。一类是利用目标函数的一阶或二阶导数的无约束优化方法，另一类是指利用目标函数值的无约束优化方法。 最速下降法 经过10次迭代，得到最优值 得到第一次迭代的结果就是最优解 牛顿型方法 对二次函数来说，上述的泰勒展开式不是近似的，而是精确的。海森矩阵是一个常数阵。无论从任何点出发，只需一步就可找到极小点。 二次收敛的概念：如果某一种迭代方法能够使二次型函数在有限次迭代内达到极小点，则称此迭代方法是二次收敛的。 牛顿法和阻尼牛顿法统称牛顿型方法。 这类方法的主要缺点是每次迭代都要计算函数的二阶导数矩阵，并对该矩阵求逆，当维数高时工作量更大。 针对上述的梯度法收敛速度慢，提出收敛速度更快的共轭梯度。 针对牛顿法的缺点提出了变尺度法。 共轭方向及共轭方向法 一、共轭方向的概念 共轭方向法 共轭梯度法 共轭梯度法是共轭向量法的一种，因为在该方法中每个共轭向量都是依赖于迭代点处的负梯度构造出来的，称共轭梯度法。 首先考虑共轭方向与梯度的关系。 作业: 00 Username:diangong Password:diangong 优化设计----姓名+学号 上述算法是针对二次函数的，一般也可以用于非二次函数。为了避免海森矩阵计算，可以采用更加有效的构建共轭向量的方法。 沿着这些共轭方向一直搜索下去，直到最后迭代点处梯度的模小于给定允许值为止。 若目标函数为非二次函数，经过n次搜索还未达到最优点，则以最后得到的点为初始点，重新计算共轭方向，直到满足精度为止。 已知 * * 可以利用极值定义，将上式变成求以下方程 无约束优化问题是：求n维设计变量 使目标函数 ，而对 没有任何限制条件。 搜索方向的构成是关键。 无约束极小算法的粗框图 最速下降法是以负梯度方向作为搜索方向，所以又称梯度法。 根据一元函数极值的必要条件和多元复合函数求导公式，得 相邻两个迭代点上的函数梯度方向互相垂直 求目标函数 的极小点。 解 取初始值 则初始点处函数值及梯度分别为 沿负梯度方向进行一维搜索，有 为一维搜索最佳步长，应满足极值必要条件 从而算出一维搜索最佳步长 及第一次迭代设计点位置和函数值 若将上例的目标函数 引入变换 其等值线就由一族椭圆变成一族同心圆， 仍从 即 开始寻优 此时有 沿负梯度 方向进行一维搜索，有 为一维搜索最佳步长，可由极值条件算得 最速下降法的收敛速度与变量的尺度关系很大，下面是最速下降收敛速度的估计式 式中 的海赛矩阵最大特征值上界； 其最小特征值下届。 一、特征值与特征向量的定义 定义2.1 设A为复数域上的n阶矩阵，若存在复数 和非零n维列向量X使得 则称数 为A的一个特征值，X为A的属于（或对应于）特征值 的特征向量。 由（2-1）式得 由此可见，特征值 是使齐次方程组 有非零解 的 的值。 方程组（2-3）有非零解的充要条件是 对于等值线为椭圆的二次型函数 ，其海赛矩阵 两个特征值分别为 。因此 可见等值线为椭圆的长短轴相差越大，收敛就越慢。 两个特征值相等 ，因此 代入（4-4），有 得 即经过一次迭代便可到达极值点。 最速下降法是一个求解极值问题的古老算法，早在1847年就已由柯西（Cauchy）提出。此法直观、简单。由于它采用了函数的负梯度方向作为下一步的搜索方向，所以收敛速度较慢，越是接近极值点收敛越慢，这就是它的主要缺点。应用最速下降法可以使头几次迭代的收敛速度很快，所以它可与其他方法配合使用。 一维情况下牛顿迭代公式 多维情况下牛顿迭代公式 根据极值的必要条件，得： 从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照极值条件去订的，其中并未含有沿下降方向搜索的概念。因此对于非二次函数，如果采用上述牛顿法迭代公式，有时