非线性规划4new 二阶方法.pptVIP

非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 非线性规划 XJTU * 二阶方法 Newton法 Newton法的其它变形： 带保护措施的阻尼Newton法 稳定Newton法 为克服Newton法计算量大的缺点，同时又能（基本）保持其快速收敛性 拟Newton法： 保持最速下降法，共轭梯度法结构简单，计算量小的优 点， 克服其收敛速度慢的不足 目的： 避免Newton法及其变形需计算Hesse矩阵，计算工作量很大，但又保持其快速收敛性 基本思想与导出： 一般拟Newton法的迭代步骤： S1 S2 S3 问题： 典型的拟Newton法 拟Newton法的性质 在适当的条件下，这一类方法中的相应算法可保证： 对于二次函数的共轭性与二次终止性 对于凸函数的全局收敛性 局部超线性收敛性 拟Newton法的改进与变形 稀疏拟Newton法 无记忆拟Newton法 有限内存拟Newton法 直接方法： 不需要函数任何导数的方法 函数值比较和一维搜索技术 典型的直接方法 坐标轮换法（交替方向法）、Rosenbrack方法 单纯行法、共轭方向法、差分拟Newton法、现代优化技术 Exp：极小化函数 模式搜索(Pattern Search)方法 S1 S2 S3 S4 性质 TH Nevertheless 一般情况下，上述算法并不能保证收敛 仅可能局部收敛，许多直接法均存在此问题 约束最优化方法 约束最优化问题的最优性条件 仅有等式约束的非线性规划问题： 微积分中求条件极值的Lagrange乘子法 含义？如何推广到不等式约束问题？一般的(MP)? 考虑仅有一个等式约束，两个变量的简单问题 Note： 仅有不等式约束的非线性规划 For Case 1: For Case 2: 不难推广到一般（多个）不等式约束问题 综合上述等式约束问题，不等式约束问题时的结论，则可给出一般非线性规划问题的一阶必要条件. 约束非线性规划问题的一阶必要条件 Def. Th. (约束问题的一阶必要条件) Example1：求下述非线性规划问题的K-T点： 解：该规划问题的K-T条件为： 作为K-T点，除满足上述条件外，还应是可行点： 为从(1)-(6)中解出K-T点，分三种情况： Example2：（K-T点并非最优解）： Example3：（最优解不是K-T点）：