基于随机谱梯度的在线学习.pdf

第 43 卷第9 期 计算机科学 Vo1. 43 No.9 2016 年 9 月 Computer Science Sep 2016 基于随机谱梯度的在线学习 薛伟1 张文生1 ， 2 任俊宏3 (南京理工大学计算机科学与工程学院 南京 210094)1 (中国科学院自动化研究所 北京 100190)2 (北京航空航天大学软件学院 北京 10019 1) 3 摘 要 考虑一类学习问题，问题的目标函数可表示为大量组函数的平均，并且假设每一个组件函数都是光滑的。在 众多机器学习方法中，在线学习操作流程简洁、收敛速度快，而且可以实现模型的自动更新，为大数据的学习提供了有 利的工具。针对这类问题，提出了一种基于随机谱梯度下降(Stochastic Spectra1 Gradient Descent ， S2GD) 的在线学习 方法。该方法利用 Ray1eigh 商收集目标函数的二阶信息来构造 Hessian 阵逆的近似。 S2GD 方法可以看作是谱梯度 方法从确定性优化到随机优化的延伸。算法每次迭代所产生的搜索方向具有下降性，且现有结论表明算法收敛。在 LIBSVM 数据库上的初步实验表明 S2GD 方法是可行的、有效的。 关键词 在线学习，随机优化，凸优化，随机梯度，谱梯度 中图法分类号 TP301 文献标识码 A 001 10. 11896/j. issn. 1002-137叉 2016.9.008 Online Leaming ßased on Stochastic Spectral Gradient XUE Wei 1 ZHANG Wen-sheng1,2 REN Jun-hong3 (School of Computer Science and Engineering ,Nanjing University of Science and Technology ,Nanjing 210094 ,China)1 (Institute of Automation ,Chinese Academy of Sciences ,Beijing 100190 ,China)2 CSchool of Software ,Beihang University ,Beijing 100191,China) 3 Abstract We considered a type of 1earning prob1ems whose objective functions can be formu1ated as an average of a 1arge number of component functions , and assu日led that each component function is smooth. Among many machine 1earning methods ,on1ine 1earning provides a favorab1e too1 for big data 1earning ,not on1y due to its simp1e operation and fast convergence rate ,but a1so for its abi1ity to automatically update model. To solve such prob1ems ,we deve10ped a sto chastic spectra1 gradient descent (