决策树中数值型属性分裂的研究.pdfVIP

维普资讯 计算机科学 2006Vo1．33No．5 决策树中数值型属性分裂的研究 刘友军 汪林林 (重庆邮电学院 重庆 400065) 摘 要 在介绍了现有数值型属性分裂方法的基础上，引出了纯区阃的概念，提出了一种基于纯区间归约的数值型属 性分裂方法。谊方法将属性值域用等宽直方图的方法划分为多个区问，对纯区间和非纯区间分别处理。理论分析和 实验结果表明谊方法在保证了分裂精度的同时，减小了搜索空问。 关键词 决策树，数值型属性，纯区间归约，Gini指数 ResearchonNumericAttdbutesSplittinginDecisionTrees LIU YowJun WANGLiLin (ChongqingUniversityofPostsandTelecommunications；Chongqing400065) Abstract Thispaperintroducesmethodsaboutnumericattributessplittingandtheconceptofpureinterval，proposea new splitting methodbasedonpureintervalsreduction．ThemethoddividesthenumericattributestOmanyintervals withequal—widthhistogram ，usesdifferentmethodstOdealwiththepureand impureintervals．Theoreticalanalysisand experimentalresultsshowethattheproposedmethodensurestheaccuracyandnarrowesthesearchspace． Keywords Decisiontree，Numericattributes，Pureintervalsreduction，Giniindex 度。常用的分裂指数计算方法有：信息增益 (information 1 引言 gain)、信息增益率(gainratio)以及 gini指数等。Gini指数已 决策树分类是一种重要的数据分类技术。在大数据集上 经被证明了能够有效地搜索极佳分裂点，而这对于生成一棵 构造决策树时，通常会遇到数值型属性，其值域是一个具有全 好的决策树是至关重要的[2。]。 序关系的实数集合或整数的子集。在选择一个数值型属性来 设一个数据集 S有 条记录，它们分属于C个互不相关 扩展决策树的结点时，有时会因该属性的取值众多，不能对其 的类，则集合S的gini值是： 每一个取值形成一个分支。一种处理方法是采用聚类、直方 图等手段将数值型属性的取值进行概化，形成概念或分层概 gi(s)=卜点 (1) 其中声，=m／n，优为S中属于类J的记录数。 念，以此来归约数据。在归约后的数据上生成决策树，计算的 复杂性较低，生成的决策树比较容易理解，但也容易导致偏 如果使用分裂规则 cond将S划分为S 和S2两个子集， 差，降低结果的精度。 则该规则的度量值记为gini。(S，cond)，定义如(2)所示： 另外的一种处理方法是对属性值进行预排序，然后寻找