大规模核机器学习研究.doc

PAGE  PAGE 8 附件2 论文中英文摘要格式 作者姓名：薄列峰 论文题目：大规模核机器学习研究 作者简介：薄列峰，男，1978年2月出生，2002年9月师从于西安电子科技大学焦李成教授（硕博连读），于2007年12月获博士学位。 中 文 摘 要 核机器学习及其应用已经渗透到多个学科，并在数据挖掘、信息检索、计算机视觉、生物信息论、信号处理、智能控制等领域取得了丰硕的成果。在过去十年中，数据规模的增长远远超过了处理器速度的增加。另一方面，机器学习算法的理论性越来越强，计算复杂度也越来越高。基于统计学习理论的支持向量机便是一个典型的例子。 大量的对比实验已经表明支持向量机在很多问题上获得了良好的推广能力。然而，支持向量机的训练过程等价于求解一个约束凸二次规划。尽管理论上该优化问题很容易求解，例如通过内点法求解，实际上经典优化方法的计算复杂度非常高，通常是训练样本数的立方。高计算代价已经成为支持向量机在大规模问题中应用的瓶颈。针对这一问题，本文提出了多种快速算法，概括如下： 对有噪数据，硬边缘支持向量机会出现过拟合现象。软边缘支持向量机通过引入正则参数来避免过拟合，获得了良好的性能，但该方法的计算复杂度很高。本文提出了一种新的学习算法，贪婪分阶段支持向量机来克服硬边缘支持向量机的过拟合问题。贪婪分阶段支持向量机最吸引人的优点是在最差情况下，它的计算复杂度仅是