第一章 基本概念.pptVIP

相关定义 最优化问题的分类 可行点列的产生 下降方向（P16-17） 可行方向（P17） 最优化问题的算法的一般迭代格式 收敛性 收敛速度 收敛速度 终止准则 最优化方法 刘二永 第一章　 基　本　概　念 § 1.1 最优化问题 　简介 最优化是一门应用十分广泛的学科，它研究在有限种或无限种可行方案中挑选最优方案，构造寻求最优解的计算方法。达到最优目标的方案，称为最优方案，搜索最优方案的方法，称为最优化方法。这种方法的数学理论，称为最优化理论。 实际上最优化方法已广泛应用于空间技术、军事科学、电子工程、通讯工程、自动控制、系统识别、资源分配、计算数学、经济管理等等领域。 最优化方法包括的内容很广泛，如线性规划、非线性规划、整数规划、动态规划、多目标规划、组合优化等等。本教程重点介绍非线性规划。 最优化问题的数学模型一般形式为： （目标函数） （等式约束） （不等式约束） 其中 定义１.1 可行解　满足约束条(1.2)和(1.3) 的x称为可行解，也称为可行点或容许点。 定义１.2 可行域　全体可行解构成的集合称为可行域，也称为容许集，记为D,即： 定义１.3 整体最优解　若：　 对于一切 则称 恒有 为最优化 问题的整体最优解。 若： 恒有 则称 为最优化 问题的严格整体 最优解。 定义１.4 局部最优解　若：　 存在 的某邻域 使得对于一切 恒有 则称 为最优化问题的局 部最优解。 其中 同样有：严格局部最优解。 而局部最优解不一定是整体最优解。　 　显然，整体最优解一定是局部最优解， 注意：　 　求解最优化问题，实际上是求可行域 　D上的整体最优解。 　但是， 在一般情况下，　 整体最优解是很难求出的，往往只能求出局部最优解。 定义１.5 范数：　 在 维向量空间 中， 定义实函数 使其满足以下三个条件： （１）对任意 有 在 当且仅当 时 （２）对任意 及实数 有 （３）对任意 有 则称函数 为 上的向量范数。 两类比较常见的范数：　 P-范数： 其中最常用的是2-范数，即： 范数： 根据数学模型中有无约束函数分为有约束的最优化问题和无约束的最优化问题。 根据目标函数和约束函数的函数类型分类：线性最优化问题、非线性最优化问题、二次规划、多目标规划、动态规划、整数规划、０－１规划。 § 1.2 最优化方法 　概述 迭代算法：选取一个初始可行点 由这个初始可行点出发，依次产生一个可行点列： 记为 使得 恰好是问题的一个最优解， 或者该点列 收敛到问题的一个最优解。 下降算法：在迭代算法中一般要求： 在 处求得一个方向 处求得一个方向 （可行下降方向） 在射线 上求一点： 使得 其中 称为步长。 定义1.6 下降方向： 在点 处， 对于方向 若存在实数 使得任意的 有： 成立， 则称 为函数 在点 处 的一个下降方向。 当 具有连续的一阶偏导数，令 由Taylor公式： 当 时，有 所以（ 充分小时） 是 在 处的一个 下降方向。 通常称满足： 的方向 为 在 处的下降方向。 定义1.7 可行方向： 已知区域 对于向量 若存在实数 使得任意的 有： 则称 为 点处 关于区域 的可行方向。 下降方向关于区域 可行，则称为可行下降 方向。 给定初始点 令 （１）确定 处的可行下降方向 （２）确定步长 使得： （３）令 （４）若 满足某种终止准则，则停止； 否则令 转（１） 如果一个算法只有当初始点充分接近最优解时，产生的点列才收敛，则称该算法为具有局部收敛的算法。 如果对任意的初始点，由算法产生的点列都收敛，则称该算法为具有全局收敛的算法。 具有全局收敛性的算法才有实用意义。但对算法的局部收敛性分析，在理论上是重要的，因为它是全局收敛性分析的基础。 定义1.8 设序列 收敛于 而且： 若 则称序列 为线性收敛的，称 为收敛比； 若 则称序列 为超线性收敛的。