最优化之基本概念.docVIP

最优化之基本概念 第一章 1. 最优化问题的数学模型包含有三个要素：即变量（又称设计变量）、目标函数、约束条件。（变量、目标函数、约束条件……P4） 2. （最优化问题的三种表达形式……P5中） 3. 称为集约束，通常不作考虑，可认为目标函数的定义域。一般有。 可行点（容许点）：满足所有约束的点称为可行点或容许点。 可行域（容许集）：全体可行点构成的集合称为可行域，也叫容许集，记为D。 （P5） 4. 最优点：在可行域内找到的点，使得目标函数值取得最优值 。 最优值：目标函数值 最优解：，但习惯上把本身称为最优解。 （P5底） 5. 处理最优化问题的3种方法：解析法、图解法、迭代法 6. 迭代算法：选取一个初始可行点，然后根据现有的信息确定本次迭代的一个搜索方向和适当的步长，从而得到一个新点。 搜索方向 迭代步长 下降算法：求 有 上升算法：求 有 (P9) 7. 收敛速度：衡量算好好坏的一个标准。 （P9底） 具有超线性收敛或者二阶收敛的算法是较快速的算法。 （P10） 8. 计算终止的计算终止准则： 无约束优化问题的三种计算终止准则：点距准则、函数下降量准则、梯度准则。 （P11） 约束优化问题有各自的终止准则。 优化算法的基本迭代过程： （P11底） 9. 图解法：（P6） 运用求解二位优化问题 可行域：即约束集合 （P6） 等高线：在三维空间中，不同的c值得到不同的投影曲线。没一条投影曲线对应一个c值，称投影曲线为目标函数的等值线或者等高线。 （P7） 10. 组合优化问题举例： 背包问题即 0-1问题： P13 例1.9 需要设为二进制变量， 表示装第i个物品。 旅行商问题（TSP）： （P14） 组合爆炸 P15 聚类问题： （P14） 组合爆炸 P15 11. 算法复杂性：算法对时间的复杂性T(n)和对空间的复杂性S(n)。 算法的时间复杂性：算法执行基本操作的次数 算法的空间复杂性：算法执行期间占用的存储单位 （P15） 12. 组合优化问题分类：根据算法的复杂性，可分为P类、 NP类、NP完全类。 P类问题：具有多项式实践求解算法 NP类问题：未找到球最优解的多项式实践算法 NP完全类问题：任何一个问题至今未发现有多项式算法；只要其中一个问题找到了多项式算法，那么其他所有问题均有多项式算法。 （P15） 第二章 1．例题2.1 如何判定矩阵是否正定（P19） 充要条件：矩阵的行列式的顺序主子式全部大于零 线代P164 2．方向导数（P19） （1）方向导数的定义：（P19底） （2）下降方向：（P20） （3）上升方向： 若，则称P为f在X0处的下降方向。 3．梯度 （1）定义及常用梯度公式：（P20） （2）梯度与方向导数之间的关系：（P21） 若，则P方向是函数在处的下降方向。 若，则P方向是函数在处的上升方向。 方向导数的正负决定了函数值的上升或者下降，那么上升或者下降的幅度则由绝对值的大小决定。 （3）关系（P21） 梯度方向是函数值的最速上升方向； 函数在与其梯度正交的方向上变化率为零； 函数在与其梯度成锐角是上升的，而在与其梯度成钝角的方向上是下降的； 梯度反方向是函数值的最速下降方向。 例题2.2 对目标函数求某一点的最速下降方向。 4．Hesse矩阵 （1）Hesse矩阵的定义：（P22） 当在点处的所有二阶偏导数连续时有Hesse矩阵对称。 例题2.3、2.4、2.5 计算求解了已知函数的梯度和Hesse矩阵。 线性函数的一阶导数为常向量，二阶导数为零矩阵； 二次函数的一阶导数为线性向量函数，二阶导数为常矩阵。（P24） （2）Jacobi矩阵 梯度的Jacobi矩阵即为函数的Hesse矩阵。 （P24~25） 性质见书本P25。 （3）泰勒展开式： （P25）证明同见P25 5．二次型与正定矩阵 （1）二次型： （P18第一部分） （2）正定矩阵 （P19文字部分） 矩阵A为正定的充要条件是它的行列式的顺序主子式全部大于零。（P19）判定 6．极小点的判定条件 （1）局部极小点和严格局部极小点 定义 （P26） 全局极小点和严格全局极小点 定义 （P26） 显然，整体的最优解一定是局部的最优解，而局部的最优解不一定是整体的最优解。 （2）无约束问题的最有性条件……几个概念 最优性条件：优化问题最优解所满足的必要条件和