最优化方法(刘)第一节.pptVIP

相关定义（P7—P8） 最优化问题的分类 凸集 凸集的性质 极点 凸函数P20-29 凸函数的几何性质 凸函数的性质 凸函数的判定 一阶条件 二阶条件 二阶条件 凸规划 等式约束问题 一阶必要条件 二阶充分条件 不等式约束问题 一阶必要条件 一阶必要条件 一般约束问题 一阶必要条件 二阶必要条件 二阶充分条件 可行点列的产生 下降方向 可行方向（P17） 最优化问题的算法的一般迭代格式 收敛性 收敛速度 收敛速度 终止准则 在 处求得一个方向 处求得一个方向 （可行下降方向） 在射线 上求一点： 使得 其中 称为步长。 定义1.6 下降方向： 在点 处， 对于方向 若存在实数 使得任意的 有： 成立， 则称 为函数 在点 处 的一个下降方向。 当 具有连续的一阶偏导数，令 由Taylor公式： 当 时，有 所以（ 充分小时） 是 在 处的一个 下降方向。 通常称满足： 的方向 为 在 处的下降方向。 定理3: 设在开凸集 内 二阶可微，则 (2) 若在 内 正定, 则 在 内 二阶可微，则 是严格凸函数． 注: 反之不成立． 例： 显然是严格凸的， 但在点 处 不是正定的 定义6 设 为凸集， 为 上的凸函数， 则称规划问题 为凸规划问题． 定理4 (1) 凸规划问题的任一局部极小点 是 整体极小点，全体极小点组成凸集． (2) 若 是凸集 上的严格凸函数， 且凸规划问题 整体极小点存在， 则整体极小点是唯一的． 二、凸集的分离 定义1 设 为两非空凸集， 若存在 非零向量 和实数 使得： 则称超平面 分离了集合 和 注： 严格分离． 定理1 设 是非空闭凸集， 但 则： （１） 存在唯一的点 使得集合 到点 的距离最小， 即： （２） 是点 到集合 的最短距离点的 充要条件为： 注： 闭凸集外一点与闭凸集的极小距离， 即投影定理。 定理2 设 为非空闭凸集， 则存在非零向量 和实数 使得： 即存在超平面 严格分离点 与凸集 注： 点与闭凸集的分离定理。 引理1 设 为 矩阵， 则下述两组方程中有且仅有一组有解： 其中 注： 以上是在最优化理论研究中起重要作用 的Farkas引理。 定义2 设 为非空集合， 且点 属于集合 的边界， 即 若存在非零 向量 使成立： 或者 则称超平面 是集合 在其边界点 的支撑超平面。 定理3 设 为非空凸集， 则存在 非零向量 使成立 即凸集 在其边界点处存在支撑超平面， 其中 表示集合 的闭包。 注： 非空凸集在其任一个边界点处都存在 支撑超平面。 推论1 设 是非空凸集， 则存在 非零向量 使成立 定理4 设 是 的两个非空凸集， 且 则存在超平面分离 和 即存在非零向量 使得 注： 以上是两凸集分离定理。 定理5 设 为 阶矩阵， 则或者存在 使 则或者存在 使 且两者不能同时成立。 注： 以上是非线性最优化理论中具有重要 作用的Gordan择一定理。 §1.3 最优性条件　 约束最优性条件 定理1: 若 (1) 是等式约束问题的局部最优解； (2) 与 在 的某邻域内 连续可微； (3) 线性无关； 则存在一组不全为零的实数 使得： 定理2: 对等式约束问题，若： (1) 与 是二阶连续 可微函数； (2) 与 使： (3) 且 且 均有 则 是等式约束问题的严格局部极小点． 定义1: 有效约束： 若(2)中的一个可行点 使得 某个不等式约束 变成等式， 即 则 称为关于 的有效约束． 非有效约束： 若对 则 称为 关于 的非有效约束． 有效集： 定义2: 锥： 的子集， 如果它关于正的数乘运算 是封闭的． 如果锥也是凸集，则称为凸锥． 凸锥关于加法和正的数乘运算是封闭的． 定理3: 在(2)中，假设： (1) 为(2)的局部最优解且 (2) 与 在 点可微； (3) 在 点连续； 则 与 交为空． 例1： 确定： 在点 处的可行下降方向. 解： 设 定理4: (Fritz-John一阶必要条件)(1948) 设 为问题(2)的局部最优解且 在 点可微， 则存在非零向量 使得： 例2： 验证是否满足Fritz-John条件： 验证 处Fritz-John条件是否成立？ 解： 取 总有 成立 定理5: (Kuhn-Tucker一阶必要条件)(1951) 设 为问题(2)的局部最优解, 在 点可微， 对于 的 线性无关， 则存在非零向量 使得： 例3： 验证是否满足Kuhn-Tucker条件： 验证 处kuhn-Tucker条件是否成立？ 解： 对 所以 不是KT点． 原因是 线性相关． 定理6: (Kuhn-Tucker一阶必要条件) 设 为问题(3)的局部最优解, 在 点可微， 对于 的 线性无关， 则存在非零向量 使得： 例4： 验证是否满足Kuhn-Tucker条件： 试验证最优点