数值优化（NumericalOptimization）学习系列-概述.pdfVIP

数值优化（NumericalOptimization）学习系列-概述 开篇 1. 数值优化通过迭代的⽅式解决优化问题，是数学建模中关键的⼀环。 2. Modeling过程，需要确定优化⽬标、⽬标所依赖的变量以及变量之间的约束关系，最后通过优化算法解决问题。 基础 1. 对于⼀个优化问题，通常有⼀个优化⽬标函数 f(x) x为参数变量，c(x)为约束。 2. 最优化问题的标注形式为 3. 其中 表⽰等式集合， 表⽰不等式集合 4. 其中满⾜约束的解称之为 可⾏解 问题分类 根据⽬标函数或者约束函数的不同，对于最优化问题可以分为： 连续/离散优化问题 约束/⾮约束优化问题 线性/⾮线性优化问题 全局/局部优化问题 随机/确定性优化问题 了解分类规则后可以根据建模后的形式选择不同的算法。 凸优化 对于凸优化需要了解⼀下⼏个概念，详细可以参考Stephen Boyd的《凸优化》，⾥⾯对凸优化问题进⾏了详细的介绍。 1. 凸集：如果集合S为凸集，当且仅当 2. 凸函数：如果函数f(x)为凸函数，当且仅当S为凸集， 3. 严格凸函数，凸函数能够取到⾮等号，即 4. 凸优化问题：对于标准形式⽬标函数为凸函数，等式约束为线性约束 ；不等式约束为凹函数。