优化原理及方法6.pptVIP

优化原理与方法 第 6 讲 §5.3.4 无约束问题优化算法 （一）最速下降法 搜索方向： 迭代式： 迭代步骤： ① 给定 ，0→k。 ② 选取搜索方向： 。 ③ 作一维搜索： 。 ④ 判别 是否满足终止条件， 若是，则算法终止；否则 k +1→k，回到②。 §5.3.4 无约束问题优化算法 最速下降法算法特点 ①前后两个搜索方向彼此正交： 搜索路径呈锯齿形前进，线性收敛速度，但头几步迭代的效率尚好； ②算法稳定性相对较好，一般具全局收敛性质； ③目标函数等值面越扁平，搜索效率越低，调匀各变量的尺度差异可以改善，该性质对各种算法具有一定普遍性； ④是非线性规划的基本算法，常作为其他算法的起始迭代步；不具二次截止性。 §5.3.4 无约束问题优化算法 x 2 x 1 最速下降法的锯齿现象 x 0 x 1 x * §5.3.4 无约束问题优化算法 （二）牛顿法 搜索方向： 迭代式： 迭代步骤： ① 给定 ，0→k。 ② 选取搜索方向： 。 ③ 作一维搜索： 。 ④ 判别 是否满足终止条件， 若是，则算法终止；否则 k +1→k，回到②。 由来 牛顿迭代式的由来 对 在 点上作二次展开： 令二次展开式的梯度为零： 即 则有： 故有： 步长 t 可直接取1，若 t 通过一维搜索获得，则称为阻尼牛顿法。 §5.3.4 无约束问题优化算法 牛顿法算法特点 ①对二次目标函数仅需一次一维搜索即可得到最优点；对非二次目标函数具有二阶收敛速度； ②当不作一维搜索时，算法稳定性较差，且不具全局收敛性质； ③通常Hesse矩阵获取困难，或用差分计算的计算量大，精度也常常没有保证，因而牛顿法通常并不实用，但具有很高的理论价值，是构造一些高效率算法的标杆。 §5.3.4 无约束问题优化算法 （三）共轭方向法 搜索方向：一组Q共轭方向 ，k=1,…,m 迭代式： 迭代步骤： ① 给定 ，0→k。 ② 生成共轭方向 。 ③ 作一维搜索： 。 ④ 判别 是否满足终止条件， 若是，则算法终止；否则 k +1→k，回到②。 几何解释 §5.3.4 无约束问题优化算法 x 2 x 1 共轭方向的几何解释 x 0 d 0 x * d 1 d 0 O 2 O 1 §5.3.4 无约束问题优化算法 Q共轭方向 对于二次目标函数，依次沿n个共轭方向作一维搜索，至多经n次搜索即可获得最优点 共轭方向法具有二次截止性。 - §5.3.4 无约束问题优化算法 共轭梯度法 基于二次目标函数进行推导，以当前迭代点上的负梯度方向与前一搜索方向的线性组合来构造共轭方向，根据共轭条件推求组合系数 Fletcher和Reeves经推导，消除了上式中的Q，得到著名的FR共轭梯度法公式： - §5.3.4 无约束问题优化算法 变尺度法 也就是说，新变量下的负梯度方向就相当于原变量下的牛顿方向。 将Hesse阵视为尺度矩阵，经尺度变换后的负梯度方向就相当于原尺度下的牛顿方向。 变尺度法利用迭代过程中积累的信息，逐步校正并最终构造出(对二次函数而言)Hesse阵的逆。 - §5.3.4 无约束问题优化算法 变尺度法搜索方向： 校正式： DFP校正式 BFGS校正式 共轭方向法一般采用n次重开始策略，起始搜索方向为负梯度方向。 §5.3.4 无约束问题优化算法 共轭方向法算法特点 ①对二次目标函数至多需n次一维搜索即可得到最优点，即具有二次截止性；对非二次目标函数具有超线性收敛速度； ②共轭梯度法与变尺度法相比，一般前者使用较简便，后者效果略好一些。