融合LDA的多类SVM方法研究.pdfVIP

计算机工程与设计 ComputerEngineeringandDesign 2009，30(19) 4497 ·人 工智 能 · 融合LDA的多类 SVM方法研究 赵 炜 ， 陈俊杰 ， 李海芳 (太原理工大学计算机与软件学院，山西 太原 030024) 摘 要：传统的基于聚类的SVM 多类分类方法在聚类时并不考虑样本的类别信息，最终形成的二叉树分支一般很多，当异 类样本特征相近时该方法性能下降明显 针对这一问题，将线性判别分析法引入二叉树建树过程中，每次在对待训练样本 集聚类之前先进行优化处理，通过寻找最佳投影子空间使得 同类样本聚集、异类样本松散，从而优化二叉树结构，以此改进 分类效果，并在UCI数据集上进行实验 ，结果表明该方法减少了二叉树分支，提 高了分类的准确率。 关键词 ：支持 向量机 ；多类分类；二叉树 ；模糊 c均值聚类 ；线性判别分析 中图法分类号：TP391 文献标识码：A 文章编号：1000。7024(2009)19—4497—03 ResearchOilmulti—classSVM combiningwithLDA ZHAoWei CHENJun-lie． LIHai—fang (CollegeofComputerandSoftware，TaiyuanUniversityofTechnology,Taiyuan030024，China) Abstract：Becausetheinformationofclass—labelsisnotconsideredbythetraditionalmulti—classSVM basedonclustering，toomuch branchesofthebinary-treearefomr ed，especiallyinthecaseofsamplesindifferentclasseshavingsimilarfeatures．Tosolvetheproblem ， lineardiscriminantanalysisisintroducedtobinary—tree，thepretreatmentthatrtainingsamplesbeforeclusteringisdonetofindoptimal featurespaceinwhichthesamplesinthesameclasseswillbegatheredtogether,whilethesamplesindifferentclasseswillbeloosed，SO binary—treeisoptimizedandtheimplementationofthealgorithm isimproved．TheexperimentiscarriedoutontheUCIdatasets．The resultsshow thatthismethodreducesthebranchesofbinary—rteeandimprovestheaccuracyofthealgorithm． Keywords： supportvectormachine；multi-·classclassification；binary tree；fuzzyC·m·eansclustering； lineardiscriminantanalysis 策略。其核心思想就是每次都通过聚类算法将待分类样本集 0 引 言 划分成两个子集 ，然后训练分类器 ，接着对每个子集分别执行 基于统计学习理论的支持 向量机(supportvectormachine， 上述过程，直到该子集 中只包含一个类别为止从而形成一棵 sⅥvI)是继神经网络之后模式识别领域新的研究热点，它以其 二叉树，目前针对该方面的研究已有很多 。 在解决小样本、非线性以及高维模式识别 中所具有的优势， 但是，基于聚类的多类分类策略在每次划分时总会出现 近年来在研究与应用方面均受到广泛关注 ，并取得丰硕成果 。 每个分组 中均有多个类