北大《最优化》21_近似点算法.pdf

近似 点算法 文再文 北京大学北京国际数学研 究中心 教材 《最优化 ：建模 、算法与理论》 配套 电子教案 /~wenzw/optbook.html 致谢 ：本教案由陈乐恒 、邓展望协助准备 提纲 1 近似 点算法 2 与增广拉格朗 日函数法的关系 3 应用举例: LASSO问题 4 收敛性分析 5 Moreau-Yosida 正则化 2/31 近似 点算法 考虑一般形式的优化 问题 ： x (1) x 其中 是一个适 当的闭凸函数 ，并不要求连续或可微 。 对于不可微的情形 ，可以使用次梯度法求解 ，但这种方式收敛较慢 ， 且收敛条件苛刻 。我们考虑用近似 点梯度法做隐性的梯度下降 ： k1 k x tk x 1 (2) k 2 u u x u 2tk 2 x 的邻近算子一般 需要通过迭代求解 迭代格式(2)的目标 函数强凸，相比原 问题更利于迭代法的求解 3/31 FISTA算法加速 可以用FISTA算法对近似 点算法进行加速 ，其迭代格式为 ： k k 1 1 k 1 k 1 k 2 x tk x k x x k 1 第二类Nesterov加速算法的迭代格式可以写成 ： vk k 1 k k 1 k v x 1 x v t k k k k 关于算法参数的选择有 两种 策略 ： 2 固定步长tk t 以及k k1 可变步长t 当k 1 时取 1 当k 1 时, 来 自下面的方程 k 1 k 1 t t k k k 1 2 2 k k 1