北邮最优化课件 10使用导数的最优化方法.pptVIP

TP SHUAI 2.1 逐步二次规划(SQP) SQP方法是求解非线性规划的一般方法，是线搜索方法的一种。 基本方法：求解原问题可以转化为求解一系列二次规划子问题。 是原问题K-T点当且仅当： 其实就是拉格朗日函数 的稳定点 SQP 给定当前迭代点 通过下面的等式求迭代步 ，可得到下一个迭代点 . （2.2） 其中， SQP 解等式（2.2）相当于求解子问题 得到的 作为第k次迭代的搜索方向 收敛性： 在一定条件下，算法产生的点列 的任何聚点都是原问题的K-T点。 对原问题若 处的二阶充分条件成立 对子问题若 处的一阶必要条件成立， 则 是一超线性收敛步，算法具有超线性收敛性： 2.2 Marotos效应 在无约束情形，超线性收敛步都是可以接受的：如果 是稳定点且二阶充分条件成立，则在算法迭代过程中，对所有充分大的k，都有： 约束优化时不成立：尽管 是一超线性收敛步（ 比 远近于 ），但无论从目标函数值或约束违反度来看， 都是一个“坏”点。 Marotos效应指出，对于许多罚函数，超线性收敛步不一定能被接受，破坏了算法收敛性。 例子： 等式约束优化 极小点为 克服Marotos效应的方法 放松接受试探步的条件 引进二阶校正步 在算法中用光滑精确罚函数作价值函数 2.3 信赖域方法 问题（3.1） 将SQP中子问题与信赖域要求合并得到信赖域子问题： （3.2） 2.3.1线性化约束不相容(1): 将线性化约束的约束函数值项都乘上一个(0,1]上的参数： （3.3） 相当于将每个约束的可行域往远点方向压缩。参数取值：使（3.2）尽量可行，取值应尽量靠近1，但为使子问题有一定自由度，取值不能过大。 参数取值 构造问题： 其最小范数解为Gauss-Newton步 当且仅当 （3.3）有可行点，为不使参数太小，要求 则 2.3.1线性化约束不相容(2)： 用一个平方和约束代替（3.2）中的等式约束条件 （3.4） 2.3.2 CDT子问题 由Celis，Dennis，Tapia(1985)提出 (3.5) 只有在 时，(3.5)才相容。 先考虑 若仅有一可行点，则此点有如下形式： 其中 ，如果 则 ； 只可能在 时才可能奇异 若可行域不只一个点，则 (3.6) 将（3.5）转化成无约束信赖域子问题 由(3.6)必有 其中 令 是由 零空间的一组正交基组成的矩阵，通过变换 可将(3.5)化为 用前面的无约束信赖域算法求解 在下面讨论中，均假设 定理（必要条件）：设 是（3.5）的解，则必存在Lagrange乘子 和 使得 （3.7） 如果乘子是唯一的，则矩阵 至多只有一个负特征值。 定理（充分条件）：设 是子问题的可行点，如果存在 和 使得（3.7）成立， 且 是半正定矩阵，则 是子问题（3.5）的解。 推论1：假定 正定，则 是子问题的解，当且仅当存在 和 使得（3.7）成立，此时，解有如下形式： （3.8） 推论2：设 正定，前面定义的 是子问题的解当且仅当它是可行点，且下列之一成立： 令 10.4拟牛顿法 第2次迭代 10.4拟牛顿法 10.4拟牛顿法 令 10.4拟牛顿法 10.4拟牛顿