基于SVM最优决策面的决策树构造.pdf

第30卷 第3期 电子测量与仪器学报 lf_30 ，v0．3 · 342 · JOURNALOFELECTRONICMEASUREMENTAND INSTRUMENTATION 2016年3月 DOI：10．13382／j．jemi．2016．03．003 ；}： 基于 SVM 最优决策面的决策树构造 李荣雨 程 磊 (南京工业大学计算机科学与信息技术学院 南京 211816) 摘 要：针对决策树与SVM算法融合问题，提出一种基于SVM最优决策面(ODS)构造决策树的方法。通过研究ODS形状 位置特征与其属性分类能力的关系以及属性分割点的数 目、位置与决策树大小、分类误差的关系，给出基于ODS形状位置 特征的属性重要性度量方法与属性最小分割点数的确定方法 ，进而得 出了ODS逼近决策树决策面的误差模型，最终实现 ODS对决策树决策面的有效逼近，并用于多类别决策树的构造。典型数据集的计算结果表明，与 c4．5算法相比，所提出的 决策树构造方法平均分类误差可减少60％以上，显著提高了决策树的泛化能力。 关键词 ：决策树；支持向量机 ；最优决策面逼近；属性重要性度量 ；属性分割优化 中图分类号：TN06 文献标识码 ：A 国家标准学科分类代码 ：520．2010 BuildingdecisiontreebasedonSVM optimaldecision surface LiRongyu ChengLei (NanjingTechUniversity，Nanjing211816，China) Abstract：InordertofusetheDecisionTreeandSVM ．amethodforbuildingtheDecisionTreebasedonSVM opti— maldecisionsurfacewasproposed．First，weexploredtherelationbetweentheshapeandlocationfeaturesofthe decisionsurfacewiththeclassificationcapabilityoftheattributesandtherelationbetweentheattributesplittingwith theclassificationerroraswellasthemagnitudeofthetree．Then，weproposedhow tomeasuretheimportanceof theattributesanddiscussedhow tosplittheattributes．Inaddition，wegettheerrorapproximationmodelofdeci— siontreeandSVM．Atlast，weconstructedmulti—classDecisionTree．Ourempiricalstudyonthebenchmarkdata— setsdemonstratesthattheproposedmethodachievesbettergeneralizedcapabilitythanC4．5classifieranddecrease 60％ ontheaverageclassificationerror，especially． Keywords：decisiontee；SVM ；approximationofoptimaldecision surface；measureofattributeimportance：opti— mizationofattributesplitting 决策树分类性能，它是解决决策树范化能力不足问 引 口 题的有效途径。其主要研究方法