第九章 一阶优化方法.PDFVIP

第九章 一阶优化方法 ∗ 满足以上条件的点x 称为KKT点。 练习169. 1. 证明：exp(xT Σx)在C = {x |∥x ∥ ≤ 1}上是强凸的，并估计相应的l和L，其中Σ = 2 1)。 1 1 2. 编写最速下降法（精确线搜索和回溯线搜索）的代码，并用于求解： min exp((x − µ )T Σ (x − µ )) + exp((x − µ )T Σ (x − µ )), 1 1 1 2 2 2 其中µ1 = (0, 1)T , µ2 = (1, 0)T , Σ1 = 1 2), Σ2 = 2 1). 交代码，报告参数、迭代 2 2 1 1 次数和数值结果。 3. 编写次梯度下降法的代码，并用于求解： min ∥Ax − b ∥ , s.t. x ≥ 0, 1 其中A = 2 1), b = (−1, 2)T . 交代码，报告步长选择、迭代次数和数值结果。 1 1 9.5 Lagrange函函函数数数 问题(9.29)的Lagrange函数定义为： m n L(x, λ, µ) = f (x) + ∑ λ g (x) + ∑ µ h (x). (9.38) i i j j i=1 j =1 λ 、µ 称为Lagrange乘子。则KKT条件的(9.36)条件可以很简洁地写成 i j 0 ∈ ∂ L(x, λ, µ). x 9.6 对对对偶偶偶问问问题题题 使用Lagrange函数可以对凸优化的对偶理论进行简洁地描述。问题(9.28)的对偶函 数(dual function)为： f ∗ (λ, µ) = inf L(x, λ, µ). (9.39) x∈C 相应的对偶问题可以通过分析f ∗ (λ, µ)何时取有限值获得。比如f ∗ (λ, µ) −∞当且 仅当(λ, µ) ∈ D，则问题(9.28)的对偶问题(dual problem)为 max f ∗ (λ, µ), λ,µ (9.40) s.t. (λ, µ) ∈ D. 而问题(9.28)称为原问题(primal problem)。 249 智能科学系教材—— 流形学习与稀疏表示 定理170. 对偶函数有如下性质： 1. D是凸集； 2. f ∗ (λ, µ) ≤ f (x), ∀ (λ, µ) ∈ D, x ∈ C ； 3. f ∗