HSMC-SVM的二次逼近快速训练算法.pdfVIP

第 30卷第 l1期 电 子 与 信 息 学 报 VOl1．3ONo．11 2008年 l1月 JournalofElectronics＆InformationTechnology Nov．2008 HSMC．SVM 的二次逼近快速训练算法 徐 图 罗 瑜 何大可 (西南交通大学信息科学与技术学院 成都 610031) 摘 要：HSMC—SVM是一种直接型高速多类支持向量机，适合用于类别较多的分类场合，但由于SMO算法采用 经验方法选择工作集，使得在用SMO算法训练HSMC—SVM 时，收敛速度较慢。为提高HSMC—SVM 的收敛速度， 该文提出用基于二次逼近的可行方向法来训练HSMC—SVM，并使用了样本缩减策略。实验表明，这种方法可以有 效提高HSMC-SVM 的收敛速度，其收敛速度已经超过了基于libsvm的组合多类支持向量机，完全可以用于分类 类别多、样本数量大的分类场合。 关键词：超球体多类支持向量机；SMO训练算法；工作集选择：二次逼近 中图分类号：TP18 文献标识码：A 文章编号：1009．5896(2008)11．2746．04 TrainingAlgoritbm ofHSM C-SVM BasedonSecond OrderApproximation XuTu LUOYu HeDa-ke (SchoolD，InformationScienceandTechnology，SouthwestJiaotongUniversity，Chengdu 610031，China) Abstract：HSMC—SVM isakindofhigh-speedmulti—classSVM withdirectmode，anditisappropriateforthe situationhaving lotsofcategories．BecauseworkingsetselectionofSMO algorithm isbasedonexperience， HSMC—SVM wouldconvergeslowlytrainedwithSMO．ForacceleratingtheconvergenceprocessofHSMC-SVM ，a new approach ofworking setselection basedon secondorderapproximation isproposed．Atthesanletime， shrinkingstrategyisusedtoo．Thenumericexperimentsshow thatthesemeasurescanspeeduptheconvergence processofHSMC--SVM efficiently．TheconvergenceprocessofHSMC—．SVM isevenshorterthanthesecomposed multi—classSVMstrained with libsvm．Hence，HSMV—SVM based on second orderapproximation isvery appropriateforthesituationthatclassificationcategoryismoreandthenumberoftrainingsamplesislarge． Keywords：Hyper—SphereMulti—ClassSVM(HSMC—SVM)；SequentialMinimizationOptimization(SMO)training algorithm；Workingsetselection；SecondOrderApproximation(SOA) 1 引言 SMO训练算法 解决了HSMC．SVM 的训练问题。