[研究生入学考试]最优化问题简介.pptVIP

主要内容 第一章 基本概念 第二章 线性规划 第三章 线性搜索与信赖域方法 第四章 无约束最优化方法 第五章 线性与非线性最小二乘问题 第六章 二次规划 第七章 约束最优化的理论与方法 例 生产计划 某工厂用3种原料 生产3种产品 已知单位产品所需原料及利润如下，试制定总利润最大的生产计划. 解：设产品 日产量 个单位， 最优化问题的数学模型 一般形式 其中 为连续函数，通常还要求连续可微. 根据实际问题的不同要求，最优化模型有不同的形式，但经过适当的变换都可以转换成上述一般形式. 最优化问题的分类 最优化问题的分类 一般形式： 目标函数是变量 的二次函数，约束函数都是变量 的线性函数，称为二次规划问题. 可行点与可行域 满足最优化问题的一般形式（1）中所有约束条件的点称为可行点, 所有可行点的集合称为可行域. 用 F 表示可行域，即 例 有效约束、无效约束与内点、边界点 有效(起作用)约束： 对于可行点 ， ， 全局最优解与局部最优解 全局最优解与局部最优解 例 小结 最优化问题一般形式的数学模型 凸集的性质 凸函数 性质 凸规划 一阶条件 二阶条件 小结 最优化问题一般形式的数学模型 0 x1 x2 x1轴分离D1和D2 D1 D2 投影定理 设 是非空闭凸集， 但 则： (１) 存在唯一的点 使得集合 到点 的距离最小， 即： (２) 是点 到集合 的最短距离点的 充要条件为： D Y. . . 定理 设 为非空闭凸集， 则存在非零向量 和实数 使得： 即存在超平面 严格分离点 与凸集 注： 点与闭凸集的分离定理。 D y. 证明： 已知 D是非空闭凸集，y不属于D， , 则有 由投影定理 定理 设 是非空凸集， 则存在 非零向量 使成立 闭包:D的闭包是所有包含D的闭凸集的交. (点与凸集的分离定理) 定理 设 是 的两个非空凸集， 且 则存在超平面分离 和 即存在非零向量 使得 (两个凸集的分离定理) 证明: 凸集的差还是凸集 D是凸集. Farkas引理 设 为 矩阵， 则下述两组方程中有且仅有一组有解： 其中 Farkas引理在最优化理论研究中起重要作用 证明： (2)有解 (1)无解, (2)无解 (1)有解, 设(2)有解, 即存在 使得 假设存在x使得 (1)无解, 设(2)无解. (1)有解, 可以证明D是非 空闭凸集, 分离定理 a是(1)的解. Farkas引理的另一种形式 设l. l’是两个非负整数，a0,ai (i=1,…,l)和bi (i=1,…,l’) 是Rn中的向量，则线性方程组和不等式组 无解当且仅当存在实数 使得 定义 设 为非空集合， 且点 属于集合 的边界， 即 若存在非零 向量 使成立： 或者 则称超平面 是集合 在其边界点 的支撑超平面。 非空凸集在其任一个边界点处都存在支撑超平面. 定义 设函数 定义在凸集 定义在凸集 上， 若对任意的 及任意的 都有： 则称函数 为凸集 上的凸函数． 定义 严格凸函数 注： 将上述定义中的不等式反向，可以得到 凹函数的定义． x y f(x) f(y) 例： 设 试证明 在 上是严格凸函数． 证明: 设 且 都有： 因此 在 上是严格凸函数． 例： 试证线性函数是 证明: 设 上的凸函数． 则 所以 是凸函数． 类似可以证明 是凹函数． 例：二次函数 是Rn上的严格凸函数当且仅当 G是正定矩阵. 证明： 严格凸 f(x)严格凸 G正定. 二次函数 G不定 f(x)既不是凸函数也不是凹函数 G正定 f(x)是严格凸函数 G负正半定 f(x)是凹函数 G负定 f(x)是严格凹函数 G正半定 f(x)是凸函数 (１) 设 (２) 设 函数， 是凸集 上的凸函数， 实数 则 也是 上的凸函数． 是凸集 上的凸 则 也是 上的凸函数． (３) 设 是凸集 上的凸函数， 则 则 也是 上的凸函数. (4） 设 是凸集 上的凸函数， 也是 上的凸函数,其中 定义 可行域是凸集，目标函数是凸函数的最优化问题称为凸规划问题 定理 (1) 局部最优解 也是全局最优解. (2) 如果目标函数是严格凸的，则 是唯一的全局最优解. 设 是凸规划问题的一个局部最优解，则 证明： 反证法. 假设局部最优解x*不是全局最优解. 则存在另外一个可行点y使得 f(y)f(x*). 因为可行域是凸集，所以 是可行点. 目标函数是凸函数,所以 这说明在x*的任意小的领域内存在函数值小于f(x*)的可行点,这与x*是局部最优解矛盾. 所以x*是全局最优解. 反证法. 假设有两