10__拟牛顿法要素.pptVIP

§4.6 拟牛顿法 牛顿法收敛很快，但需要计算Hesse矩阵，而此矩阵可能非正定，可能导致搜索方向不是下降方向。 基本思想： 用不包含二阶导数的矩阵近似Hesse矩阵的逆。 拟牛顿条件 秩1校正 注释 在一定条件下，收敛且具有二次终止性。 无法保证Hk的正定性；即使能，也有可能导致△Hk无界。 DFP算法 BFGS公式 Broyden族 特 点 不必计算Hesse矩阵。 当Hk0时，算法产生的方向均为下降方向，具有二次终止性。 存储量较大。 作 业P218 26 §5 约束优化 数学模型 一阶最优性条件(必要; 充分) 不等式约束问题 一般约束问题 二阶最优性条件(必要; 充分) 起作用约束 下降方向: 可行方向: 可行下降方向 作 业P319 2.(1),(3) 3. 一般约束问题的一阶最优性条件 互补松弛条件 对于凸规划，有下面的一阶充分条件： 凹函数 线性函数 凸函数 * 秩1校正 DFP(Davidon-Fletcher-Powell)算法： 秩2校正 BFGS(Broyden-Fletcher-Goldfarb-Shanno)公式及Broyden族 校正矩阵 秩为1 秩为2 计算步骤： 否 是 否 是 重置 DFP法具有二次终止性！ 搜索方向为下降方向 共轭 DFP法具有二次终止性！ BFGS修正公式