最优化理论与算法完整版课件讲解.ppt

收敛性： 在一定条件下，算法产生的点列 的任何聚点都是原问题的K-T点。 对原问题若 处的二阶充分条件成立 对子问题若 处的一阶必要条件成立， 则 是一超线性收敛步，算法具有超线性收敛性： 2.2 Marotos效应 在无约束情形，超线性收敛步都是可以接受的：如果 是稳定点且二阶充分条件成立，则在算法迭代过程中，对所有充分大的k，都有： 约束优化时不成立：尽管 是一超线性收敛步（ 比 远近于 ），但无论从目标函数值或约束违反度来看， 都是一个“坏”点。 Marotos效应指出，对于许多罚函数，超线性收敛步不一定能被接受，破坏了算法收敛性。 例子： 等式约束优化 极小点为 克服Marotos效应的方法 放松接受试探步的条件 引进二阶校正步 在算法中用光滑精确罚函数作价值函数 2.3 信赖域方法 问题（3.1） 将SQP中子问题与信赖域要求合并得到信赖域子问题： （3.2） 2.3.1线性化约束不相容(1): 将线性化约束的约束函数值项都乘上一个(0,1]上的参数： （3.3） 相当于将每个约束的可行域往远点方向压缩。参数取值：使（3.2）尽量可行，取值应尽量靠近1，但为使子问题有一定自由度，取值不能过大。 参数取值 构造问题： 其最小范数解为Gauss-Newton步 当且仅当 （3.3）有可行点，为不使参数太小，要求 则 2.3.1线性化约束不相容(2)： 用一个平方和约束代替（3.2）中的等式约束条件 （3.4） 2.3.2 CDT子问题 由Celis，Dennis，Tapia(1985)提出 (3.5) 只有在 时，(3.5)才相容。 先考虑 若仅有一可行点，则此点有如下形式： 其中 ，如果 则 ； 只可能在 时才可能奇异 若可行域不只一个点，则 (3.6) 将（3.5）转化成无约束信赖域子问题 由(3.6)必有 其中 令 是由 零空间的一组正交基组成的矩阵，通过变换 可将(3.5)化为 用前面的无约束信赖域算法求解 在下面讨论中，均假设 定理（必要条件）：设 是（3.5）的解，则必存在Lagrange乘子 和 使得 （3.7） 如果乘子是唯一的，则矩阵 至多只有一个负特征值。 定理（充分条件）：设 是子问题的可行点，如果存在 和 使得（3.7）成立， 且 是半正定矩阵，则 是子问题（3.5）的解。 推论1：假定 正定，则 是子问题的解，当且仅当存在 和 使得（3.7）成立，此时，解有如下形式： （3.8） 推论2：设 正定，前面定义的 是子问题的解当且仅当它是可行点，且下列之一成立： 帅天平 北京邮电大学数学系 Email:tpshuai@, Tel Rm:主楼814 §11，无约束最优化的直接方法 最优化理论与算法 Ch11 无约束最优化的直接方法 1 模式搜索法 2 Rosenbrock算法 3 Powell方法 1.模式搜索法 1 基本思想 Hooke Jeeves(1961) 探测移动依次沿n个坐标轴进行,用以确定新的 基点和有利于函数值下降的方向. 模式移动沿相邻两个基点连线方向进行. 从几何意义上看,寻找具有较小函数值的“山谷”力图使迭代产生的序列沿“山谷”走向逼近极小点,算法从初始基点开始,包括两种类型的移动 ----探测移动和模式移动. 1.模式搜索法 1.模式搜索法 设目标函数为f(x), x?En.坐标方向 给定初始步长?,加速因子?.任取初