经典优化算法1.pdf

课程纲要  最优化理论数学基础复习  线搜索方法  梯度法和牛顿法  共轭梯度法  拟牛顿法  最小二乘法  最优性条件(*)  线性规划  二次规划 2 课程纲要  最优化理论数学基础复习  线搜索方法  梯度法和牛顿法  共轭梯度法  拟牛顿法  最小二乘法  最优性条件(*)  线性规划  二次规划 3 最优化理论数学基础  最优化问题就是求一个多元函数在某个给定集合上的 极值问题, 几乎所有类型的最优化问题都可以描述如下: min () , s. t. ∈ Ω 其中: Ω 为某个给定的集合, 称为可行集或可行域; () 为定义在集合Ω上连续可微的多元实值函数, 称为 目标函数; = ( , ⋯ , ) 为决策变量; s.t. 为 1 2 subject to ( 受限于) 的缩写. 对于极大化问题, 在目标函数前添加负号可以转化为极 小化问题. 因此, 只需考虑目标函数极小化问题. 4 最优化理论数学基础  最优化问题: min () , s. t. ∈ Ω 可行域Ω 一般常用等式和不等式来描述 Ω = { ∈ | = 0, ∈ ℰ; ≥ 0, ∈ ℐ} 其中 ( ∈ ℰ ∪ ℐ) 为定义在 上连续可微的多元实 值函数, 称为约束函数. 等式约束: = 0, ∈ ℰ; ℰ 为等式约束指标集; 不等式约束: ≥ 0, ∈ ℐ; ℐ 为不等式约束指标集 5 最优化理论数学基础  最优化问题: min () , s. t. ∈ Ω Ω = { ∈ | = 0, ∈ ℰ; ≥ 0, ∈ ℐ} 无约束优化问题: ℰ ∪ ℐ = ∅, 否则为约束优化问题 等式约束优化问题: ℰ ≠ ∅且ℐ = ∅ 不等式约束优化问题: ℐ ≠ ∅且ℰ = ∅ 线性规划问题: 目标函数和约束函数都是线性函数 二次规划问题: 目标函数二次, 而约束函数是线性 6 向量和矩阵范数  在 维实向量空间 中定义向量的范数  向量 ∈ 的范数 ∙ 是一个非负数, 须满足以下条件: ① ≥ 0, = 0 ⟺ = ② = , ∀ ∈ ③ +