21 优化理论与经典优化方法.pptVIP

* 最优化理论与经典优化方法 最优化（规划）问题 包括了最大化问题 目标函数和所有约束都是线性函数时，称为线性规划问题 目标函数和约束中有一项为非线性函数时，称为非线性规划问题 目标函数为二次函数而约束为线性约束时，称为二次规划问题 Mathematical Programming; Linear Programming; Nonlinear Programming; Quadratic programming 只要至少有一个约束存在，称为有约束规划 无任何约束存在则称为无约束规划（p,q=0) 凸最优化（凸规划）问题 凸集 凸函数 等号不成立，称为严格凸函数。 凸规划 S为凸约束集 f为S上凸目标函数 线性函数是凸函数（也是凹函数） 任意个凸集的交集还是凸集 一个非空凸集上的凸函数乘一个非负常数还是凸函数；一个非空凸集上的若干个凸函数的和仍是凸函数。 一个非空开凸集上的一阶可微函数，若 一个非空开凸集上的二阶可微函数，若Hesse矩阵 凸函数 凸集 最优化问题的求解（规划）思路 可行解集（空间）；可行区域 整体最优解；全局最优解；等号不必要称为严格全局最优解。 基本概念 局部最优解；等号不必要称为严格局部最优解。 凸规划的任一局部最优解就是它的全局最优解 求解思路 从约束优化到无约束优化，从局部最优解到全局最优解 利用最优化问题的目标函数和约