opt_2013第三次课-学生用.ppt

优化理论与最优控制 Dr . -ing L. Wang 讲授内容 复习：最优解 单变量问题最优化－消去法 单变量问题最优化－黄金分割法 单变量问题最优化－插值法 单变量问题最优化－牛顿法 无约束最优化方法的结构 min f（x） x ∈ Rn 最优化方法通常采用迭代方法求最优解 x k+1 = x k + λk pk 给定 x0, k =0 确定使目标函数下降的pk 确定λk x k+1 = x k + λk pk 是否收敛 k = k+1 x k = x k+1 停机 迭代方法的收敛速度和终止准则 设某种算法产生的点列 { xk } 收敛于优化问题的最优解 x*，且满足 则称该算法为 p 阶收敛 p = 1 线性收敛 1 p 2 超线性收敛 p = 2 二阶收敛 终止准则 x k+1 x k x * x * x k x k+1 f (x k) f (x k+1) f (x k) f (x k+1) 单变量问题最优化 min f（x） 消去法 黄金分割法 插值法 牛顿法 消去法的基本思路 设凸函数 f(x)在区间 [a b]内存在极小点x*。 在 [a b]内按一定规则对称地取两个内部点 x1和x2，且 x1x2，计算 f(x1)和f(x2)，可能有三种情况： a b x1 x2 a b x1 x2 a b x1 x2 f(x1) f(x2) f(x1) f(x2) f(x1) = f(x2) 区间短缩的过程 区间缩短率？ [a b] 黄金分割法 a0 b0 x1 x2 计算f(x1)和f(x2)并比较 若f(x1)f(x2) 则新区间[a1 b1]=[a0 x2] 若f(x1)f(x2) 则新区间[a1 b1]=[x1 b0] 精度判别；重复步骤 计算流程图 例 用（Golden section method）法求解下列问题 初始区间 =[-1，1]，区间长度要求精度 （终止准则简化） 二次多项式近似法 基本思想是在搜索区间中不断用二次多项式 P(x) 来近似目标函救 f(x)，并逐步用插值多项式的极小点来逼近一维搜索问题的极小点 多项式函数具有连续可微的解析性质， 可以采用微分法求极小点的解析格式 在函数 f(x) 的寻优区间内任意确定x1，x2，x3三点。 x1 x3 x2 f(x) P(x) 求 β0 β1 β2 求 P(x) 的极小值点以及对应的xm x1 x3 x2 f(x) P(x) xm x1 x3 x2 f(x) xm 比较f(x2)和f(xm)，取较小的为下一个中间点，其左右两边的点保持，构成新的三点 新区间，继续二次多项式，直至收敛 外推内插法 上述两种方法难点？ 黄金分割法 a0 b0 x1 x2 二次多项式近似法 x1 x3 x2 f(x) P(x) 极小点存在的区间 基本思想是从初始点开始，选择函数值减小的方向，按照成倍加大步长的方法选点搜索，比较函数值，一直到函数值的分布呈现两头大中间小的状态时，最后三点包含的区间为极小点存在的区间，然后二次内插法找出极小点。 外推内插法 x0 f(x) x3 x1 x2 外推内插法 外推内插法－外推步骤 讨论： 做题：确定 f(x) = x2 - 6x + 9 的单变量优化搜索区间 给定初始点x0=0, h0=1。（初始三点0，1，2，对应函数值9，4，1→No，再三点1，2，5，对应函数值4，1，4→yes） 2. 如何加快搜索，从最后三点的确定上寻找。（加大搜索步长） 外推内插法 牛顿法 基本思想是用 L(x) 的极小点近似 f(x) 的极小点 设凸函数 f(x)的在区间 [a b]内存在极小点x*，且二阶连续可微。那么f(x)的二阶泰勒展开为： 收敛于 牛顿法 计算 迭代结果 迭代次数 xk ? 0 4 3 2 1 3 DFP变尺度法 共轭方向法 阻尼牛顿法 最速下降法 内容要求 基本原理 求解步骤 求解例 （1. 最好有电力系统背景的实例） （2. 最好能给出一个Matlab计算例） 无约束多变量问题的最优化方法 Marquardt法 Thank you