基于分解技术的并行支持向量机算法.docVIP

  基于分解技术的并行支持向量机算法# 李明强1，韩丛英2，贺国平3** （1. 山东科技大学信息科学与工程学院，山东 青岛 266590； 5 10 2. 中国科学院大学数学科学院，北京 100049； 3. 山东科学院，济南 250000） 摘要：支持向量机是以统计学习理论为基础的新型的机器学习方法，近年来已经成为机器学 习领域一个新的研究热点。由于传统的优化算法在处理大规模数据集的训练问题时往往需要 非常大的时间，空间开销，因此基于分解技术的并行支持向量机算法成为了求解支持向量机 问题的主要算法之一。本文首先介绍此算法的基本框架和涉及到的并行计算技巧，然后给出 了一个新的子问题并提出用基于一阶信息的加速方法来求解新的子问题，最后给出了基于无 梯度计算的工作集选取方式，并说明了这种方式的可行性。 关键词：支持向量机；并行算法；工作集选取；梯度投影法；分解算法 中图分类号：O221.1, O246 15 Parallel Support Vector Machine Algorithms Based on Decomposition Technique LI Mingqiang1, HAN Congying2, HE Guoping3 (1. School of Information Science and Engineering, Shandong University of Science and 20 25 30 Technology, ShanDong QingDao 266590; 2. School of Mathematical Sciences,University of the Chinese Academy of Sciences, Beijing 100049; 3. Shandong Academy of Sciences, JiNan 250000) Abstract: Support Vector Machine is a new method of machine learning based on statistics learning theory. It has become a new area of research focus in machine learning field. As much cost of time and space is needed when we use traditional optimization algorithms dealing with training issues with large scale of data sets, The parallel algorithm based on decomposition technique has become one of the main algorithms which solve the Support Vector Machines. In this paper, we firstly introduce the outline of this algorithm and the skills in parallel computing. Then we give a new subproblem and propose the accerlated method based on first order information to solve the new subproblem. Finally, we describe the working set selection method without gradient computation and prove its feasibility. Keywords: Support Vector Machine; Parallel Algorithms; Working Set Selection; Projected Gradient Method; Decompositon Algorithms 35 0 引言 支持向量机 (Support Vector Machine, SVM)是建立在 VC 维理论和结构风险最小化原理 基础上发展起来的数据挖掘新方法。由于其具有很好的泛化能力，因此 SVM 广泛应用于文 本识别、手写字体识别、人脸图像识别、回归 分析、函数估计等领域。 40 支 持 向 量 机 分 类 问 题 的 描 述 如 下 ： 给 定 样 本 训 练 集 T?? {( x1, y1 ),..., ( xn , yn )}∈ (R m?? Y )n ，其中 xi?∈ R m 是输入指标向量，