无约束 (多维)最优化完整版.pptVIP

2. 性质 * 例 解 * * 二、非线性最小二乘法 1.一般形式： * * * * * * * * * * * * * 1.单纯形加速法: Spendley、Hext 和Himsworth 于1962年提出; Nelder 和Mead 1965年改进 问题: 7.3 单纯形加速\替换法\复形法 单纯形加速法是一种不使用导数的求解无约束极小化问题的直接搜索方法. * 3.算法思想 * 4. 单纯形概念 （1）例 * （2）单纯形的定义 * 5.如何构造单纯形? * * 6.单纯形加速法的几何解释 劣点 形心点 反射点 延伸点 * ——形心 * * * 7.单纯形加速法的步骤 * * * * 例:用单纯形加速法解 * * 可以继续迭代，直到满度一定的精度 * h 例:用复形法解 * h h h h * (一)、线性最小二乘法 (二)、非线性最小二乘法 1. 改进的Gauss-Newton法 2. Levenberger-Marquart方法 7.4 最小二乘法 * 一、线性最小二乘法 1. 问题 2. 性质 * 梯度法（最速下降法） 牛顿法与拟牛顿法 变尺度法(DFP法) 共轭梯度法 模式搜索法 Powell法 单纯形加速法 最小二乘法 * 2. 牛顿法 3. 拟牛顿法(变尺度法) 1、梯度法（最速下降法）： 多变量无约束优化间接法 ; ) ( : k k k x f H d ? - = 搜索方向 * 3. 拟牛顿法(变尺度法) 4. 特殊拟牛顿法1——DFP算法： 5. 特殊拟牛顿法2——BFGS算法： ; ) ( : k k k x f H d ? - = 搜索方向 多变量无约束优化间接法 * 6. 共轭梯度法1—— 7. 共轭梯度法2—— 多变量无约束优化间接法 * 无约束最优化问题的直接方法 一、 模式搜索法 二、 Powell 算法 三、 单纯形替换法 * 7.1 模式搜索法 步长加速法 * * * * * yes no 1 yes 2 No yes No * 1 No yes No Yes Yes No 2 停；x 为解 * * (1) 步长加速法的收敛速度是线性的，且如果目标函数可微，则可收敛到平稳点。 (2) 由于步长加速法不使用导数，故可应用于任何形式的目标函数，应用范围极广。 (3) 在进行坐标轮换试探时，如果不采用固定步长（亦称离散步长）而使用一维搜索技术求目标函数在坐标方向的极小点，则可加速迭代速度。 4. 步长加速法性质与评价 * * 7.2 Powell 方法 * 2、原始 Powell 法步骤： * * * *