工程优化第4章-2合编.pptVIP

最优性条件 最速下降法 牛顿法及其阻尼牛顿法 共轭方向法 共轭梯度法 变尺度法（DFP算法和BFGS算法） 第4章 无约束最优化方法 无约束最优化问题： 从而得到第 k+1次迭代点，即 步长 由精确一维搜索得到。 最速下降法 负梯度方向 假设 f 连续可微， 最速下降法向极小点逼近是曲折前进的，这种现象 称为锯齿现象。 除特殊的目标函数和极特殊的初始点外，这种现象都会发生。 1. 相邻两次迭代的方向互相垂直 最速下降法的两个特征 注：在最速下降法中，利用精确一维 搜索求最佳步长，导致相邻两次迭代 的搜索方向总是垂直的， 使得逼近极小点过程是“之”字形， 这样从任何一个初始点开始，都可以很快到达极小点附 近，但是越靠近极小点步长越小，移动越慢，导致最速下降 法的收敛速度很慢。 实际运用中，在可行的计算时间内得不到需要的结果。 最速下降法收敛速度慢 最速下降法的两个特征 对正定二次函数，用最速下降法产生的点列：偶数项点 列均在一条直线上，奇数项点列也均在一条直线上，且 都过最优点. 最速下降法的两个特征 优点：理论明确，程序简单，每次的计算量小，所需的存 储量小，对初始点要求不严格。 缺点：收敛速度并不快，因为最速下降方向仅仅是指某点