无约束优化方法剖析.ppt

2-4 无约束优化方法 无约束优化问题的下降迭代算法具有统一的迭代格式，问题之一是选择搜索方向。 根据搜索方向的不同构成方式，分： 1) 导数法(解析法) 利用目标函数的一阶导数或二阶导数信息构造搜索方向的方法。 梯度法、牛顿法、共轭梯度法和变尺度法… 条件： ①目标函数求导容易； ②目标函数一阶导数连续； ③目标函数是设计变量的显函数。 2-4 无约束优化方法 2)模式法(直接法) 通过比较几个已知点的函数值构造搜索方向的算法。 如坐标轮换法、共轭方向法、鲍威尔法等。 构成搜索方向的信息仅仅是几个有限点上的函数值，难于得到较理想的搜索方向。一般迭代次数较多，收敛速度较慢。 一、梯度法 迭代方向由迭代点的负梯度构成——最速下降法。 梯度法迭代公式 一、梯度法 特点： (1)算法简单，只计算目标函数一阶导数，占用内存少； (2)初始点任选； (3)初始迭代速度快； (4)?搜索路线正交，收敛速度越来越慢。 二、牛顿法 梯度法除在最初几次迭代中函数值下降很