人民大2024孙怡帆 数据科学优化方法 PPT第11章 坐标下降方法.pptxVIP

数据科学优化方法OptimizationMethodinDataScience统计学院孙怡帆

第11章坐标下降方法11.1随机坐标下降方法11.2加速随机坐标下降方法11.3循环坐标下降方法11.4求解可分正则最优化问题的随机坐标下降方法

引入？坐标下降（CD）方法是一种非梯度优化方法.基本思想是通过求解一系列简单的子问题达到最终优化目标函数的目的方法每次迭代时，在当前迭代点处沿一个坐标轴方向进行一维搜索，以求得目标函数在该方向的局部极小点.坐标下降方法广泛应用在统计和机器学习领域.

引入本章前三节考虑如下的无约束最优化问题 其中，为光滑凸函数.有时还需要具有强凸性，即存在常数使得（11.1）（11.2）

设,若对于任意的和,有则称为目标函数的分量Lipschitz常数.(11.3)定义11.1分量Lipschitz常数引入基于方法收敛性分析的需要，定义以下几种Lipschitz常数.设为函数的分量Lipschitz常数，则称为的坐标Lipschitz常数.定义11.2坐标Lipschitz常数(11.4)

标准的Lipschitz常数满足如下不等式由矩阵范数与迹的关系，可以得到假设1