基于线性规划分类支持向量机.docVIP

基于线性规划分类支持向量机 　　摘 要：针对支持向量机(Support Vector Machine，SVM)在分类问题上的运用，分析在结构风险中采用一般范数控制模型的复杂性问题，提出基于l1-范数和l∞-范数的两种线性规划支持向量机，包括线性支持向量机和非线性支持向量机. 采用模拟数据对4种支持向量机进行数值试验，其中有3种是线性规划支持向量机(包括提出的两种支持向量机)和经典的二次规划支持向量机. 实验结果表明，对线性支持向量机中3种支持向量机计算的模型参数均与理论值接近；对非线性支持向量机情形中l1-范数支持向量机具有最少的支持向量和较好的学习效果. 　　关键词：统计学习理论； VC维数； 支持向量机； 线性规划 　　中图分类号：TP181；O221.1 　　文献标志码：A 　　 　　Support vector machine for classification based on linear programming 　　XIE Hong1, LIU Heli1, WEI Jiangpin2 　　( 1. Info. Eng. College, Shanghai Maritime Univ., Shanghai 200135, China; 　　2. Dept. of Computer Eng., Jiangsu College of Info. Tech., Wuxi Jiangsu 214061, China) 　　Abstract： With the application of Support Vector Machine (SVM) on classification problem, the complexity of general norm control model in structure risk is analyzed, and two kinds of linear programming support vector machine are presented based on l1-norm and l∞-norm including linear SVM and nonlinear SVM. A numerical experiment is done for four kinds of SVMs which are three kinds of linear programming SVMs (including two kinds of proposed SVMs) and classic quadratic programming SVM. The experiment results show that in linear SVM case the parameters computed by three kinds of linear programming SVMs are nearto theoretic value, and in nonlinear SVM case l1-norm-based SVM has least support vectors andbetter learning effect than the other SVMs. 　　Key words： statistical learning theory; VC dimension; support vector machine; linear programming 　　 　　0 引 论 　　 　　自从VAPNIK[1]等人提出支持向量机(Support Vector Machine, SVM)理论以来，SVM在分类和函数估计方面取得越来越多的应用.SVM是在统计学习理论的基础上形成的，力图实现结构风险的最小化,从而提高学习机的泛化能力.经典的SVM学习理论将机器学习问题转化为求解二次规划问题，而该问题是一个迭代过程，当样本数据量较大时每一步迭代的计算复杂度很高，因此目前的研究成果大多是针对如何降低求解二次规划问题的计算量和计算复杂度进行的.其中比较有影响的是文献[2]提出的SMO(Sequential Minimal Optimal)算法；文献[3，4]采用缩减工作集的方法对SMO算法进行改进；文献[5]通过对达到上界的Lagrange乘子进行分解来降低SMO算法的计算量；文献[6]则对SMO算法采用分块优化的方法进行改进；与SMO算法不同，文献[7]在对核矩阵进行降秩分解的基础上提出内点优化算法；文献[8]在结构风险中以无穷大范数为基础提出基于线性规划的SVM，将机器学习问题转化为求解线性规划问题，但是该文献所给出的方法有很大的局限性，很难进行一般化推广.