统计与优化-4 无约束优化方法.ppt

随机搜索算法 坐标轮换法 坐标轮换法 例子： Powell方向加速法 Powell方向加速法 无约束优化方法 * 最速下降法 最速下降法 最速下降法 定理： 最速下降法 最速下降法 最速下降法 需要三次迭代 牛顿法 牛顿法 例子： 只需一次迭代 牛顿法 需要计算Hesse 矩阵及其逆 要求Hesse 正定 缺点： 优点： 收敛速度快 搜索前期用快速下降法，后期用牛顿法 阻尼牛顿法 阻尼牛顿法 阻尼牛顿法 例子: 牛顿法 共轭梯度法 共轭梯度法 共轭梯度法 共轭梯度法 c 共轭梯度法 共轭梯度法 共轭梯度法 共轭梯度法 变尺度算法 变尺度算法 记 则 （牛顿方程） DFP算法 DFP算法 DFP算法 公式 的由来 随机搜索算法