决策树属性选择标准的改进.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 2010，46(34) 115 决策树属性选择标准的改进 谢妞妞 ，刘於勋 XIE Niu-niu．LIU Yu—xun 河南工业大学 信息科学与工程学院，郑州 450001 CollegeofInofrm~ion ScienceandEngineering，HenanUniversity ofTechnology，Zhengzhou 450001，China E—mail：xieniuniu219@163．corn 、 XIE Niu-niu．LIU Yu—xun．Improvementofattribute selection criterion of decision trees．Computer Engineering and Ap— plications．2010，46(34)：115—118． Abstract：The decision tree ~gofithm isaresearch hotspotin thefield ofdatamining，which isusually used form classifi— ersand prediction models．In practice，itiswidely used．Thispaperfocuseson classicalID3 algorithm ，analyzesitsadvantages and disadvantages，combines with Taylorand Maclaurin formula，nad then puts forward a new attribute selection criterion of decision trees．Thismodified algorithm improveshte classification accuracy，reducesthe generation time ofdecision trees，nad sho~ensthe computationalcostby the calculation ofhte simplified infomr ation entropy．Experimentalresultsshow effective— nessand correctnessofhte improved algoritmh ． Keywords：decision rtee；ID3algoritmh ；simplified infomr ation enrtopy 摘 要：决策树算法是数据挖掘领域的一个研究热点，通常用来形成分类器和预测模型，在实际中有着广泛的应用。重点阐述了 经典的ID3决策树算法，分析 了它的优缺点，结合泰勒公式和麦克劳林公式提出了新的属性选择标准。改进后的算法通过简化 信息熵的计算，提高了分类准确度，缩短了决策树的生成时间，减少了计算成本。实验证明，改进后算法的有效性和正确性。 关键词：决策树 ；ID3算法；简化信息熵 DOI．10．3778~．issn．1002-8331．2010．34．035 文章编号：1002—8331(2010)34—0115-04 文献标识码：A 中图分类号：TP301．6 1 引言 息，只要训练样本能用属性．值的方式表达出来 ，就可以使用 近年来，随着数据库技术和数据挖掘技术的发展，人们可 该算法来学习，这对于初学者来说非常方便一。同时，该算法 以高效地搜集和存储大量的数据，发现数据中存在的潜在关 存在着以下的缺陷： 系和规则，预测未来的发展趋势，从而为决策者提供其决策支 (1)1193算法在选择信息增益作为分裂属性的选择标准 持所需要的有价值的信息。 时，存在属性偏向的问题 ，即偏向于优先选取取值较多的属 分类是一种有效的数据挖掘分析方法。而决策树是从数 性 ，而取值较多的属性往往不是最优的属性 ，这在实际中往往 据集中生成分类器，进行预测的一个特别有效的方法，是数据 不太合理 “】。 挖掘应用最广泛的分类方法之一。它能从