关于无约束优化各种方法幻灯片.pptVIP

第四章 无约束优化方法 4-1 最速下降法 4-2 牛顿类方法 4-3 坐标轮换法 4-4 共轭方向法 4-5 鲍威尔方法 第四章 无约束优化方法 为什么要研究无约束优化问题? （1）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 （2）约束优化问题的求解可以通过一系列无约束优化方法来达到。 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 根据一元函数极值的必要条件及复合函数求导公式得 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 梯度法的特点 （1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。 （3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，远快近慢。 （4）梯度法的收敛速度与目标函数的性质密切相关。对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。 梯度法应用的一个实例： 4-2 牛顿类方法 4-2 牛顿类方法 4-2 牛顿类方法 4-2 牛顿类方法 （1） 初始点应选在X*附近，有一定难度； （2） 尽管每次迭代都不会是函数值上升，但不能保证每