一种改进的基于支持向量机的多类分类方法.pdfVIP

第31卷第 12期 计算机应用与软件 Vo1．31 No．12 2014年 12月 ComputerApplicationsandSoftware Dee．2014 一 种改进的基于支持 向量机的多类分类方法 赵 亮 (重庆邮电大学计算机科学与技术学院 重庆400065) 摘 要 针对现有支持 向量机多类分类算法在分类精度上的不足 ，提出一种改进的支持向量机决策树多类分类算法。为了最大 限度地减少误差积累的影响，该算法利用投影向量的思想作为衡量类分离性的标准，由此构建非平衡决策树，并且在决策树节点处 对正负样本选取不同的惩罚因子来处理不平衡数据集的影响，最后引入KNN算法与SVM共 同识别数据集。通过在手写体数字识 别数据集上的仿真实验，分析比较各种方法，表明该方法能有效提高分类精度。 关键词 支持向量机 多类分类 决策树 投影向量 惩罚因子 KNN 中图分类号 TP391 文献标识码 A DOI：10．3969／j．issn．1000—386x．2014．12．056 AN IM PRoVED SVM ．BASED MULTI．CLASSCLASSIFICATION ALGORITHM ZhaoLiang (SchoolofComputerScienceandTechnology，ChongqingUniversityofPostsandTelecommunications，Chongqing400065，China) Abstract InlightofthedeficiencyofexistingSVM multi-classclassificationalgorithm inclassificationaccuracy，weproposeanimproved SVM decisiontreemulti·classclassificationalgorithm．Inordertominimisetheimpactoftheerroraccumulationtogeatestextent，thealgorithm usestheideaofvectorprojectionasthestandardtomeasureclasssepraation，thusconstructsanunbalnaceddecisiontree．Furthermore，it selectsdifferenlpunishmentfactorsfrompositiveandnegativesamplesatthenodesofdecisiontreetocounteracttheimpactfrom unbalnaced datasets．Atlast，itintroducesKNN toco—recognisethedatasetswith SVM．Analysingand comparingdiffidentmethodsbythesimulation experimentonhnadwrittendigitrecognitiondatasets，itisshownthatthismethodcaneffectivelyimprovetheclassificationaccuracy． Keywords Supportvectormachines(SVM) Multi-classclassification Decisiontree Vectorproje‘ction Punishmentfactor k-nearest neighbouralgorithm(KNN) 累问题，前人作出了一些有益尝试：文献[7]利用遗传算法来优 0 引 言 化决策树的生成过程，文献 [8]利用双支持 向量机来提高决策