基于ID3算法构建决策树实现与分析.pdfVIP

#源代码#基于ID3算法构建decisiontree决策树

Peaker

ID3算法是一种典型的决策树（decisiontree）算法，C4.5,CART

都是在其基础上发展而来。决策树的叶子节点表示类标号，非叶子节

点作为属性测试条件。从树的根节点开始，将测试条件用于检验记录，根

据测试结果选择恰当的分支；直至到达叶子节点，叶子节点的类标号

即为该记录的类别。

ID3采用信息增益（informationgain）作为属性的度量，最佳

等价于求解最大的信息增益。

信息增益=parent节点熵-带权的节点的熵

ID3算法流程如下：

1.如果节点的所有类标号相同，停止；

2.如果没有feature可供，根据多数表决确定该节点的类标号，

并停止；

3.选择最佳的feature，根据选择feature的值逐一进行；

递归地构造决策树。

在选择哪个属性作为节点的时候采用信息论原理，所谓的信息增

益。信息增益指原有数据集的熵-按某个属性分类后数据集的熵。信息

#Sourcecode#ConstructdecisiontreedecisiontreebasedonID3

algorithm

Peaker

TheID3algorithmisatypicaldecisiontreealgorithm,onwhichC4.5andCARTare

developed.Theleafnodesofthedecisiontreerepresentclasslabels,andthenon-leaf

nodesserveasattributetestconditions.Startingfromtherootnodeofthetree,thetest

conditionsareusedtochecktherecords,andtheappropriatebranchisselectedbasedon

thetestresults;untilitreachestheleafnode,theclasslabeloftheleafnodeistheclassof

therecord.

ID3usesinformationgainasameasureofsplittingattributes,andoptimalsplittingis

equivalenttosolvingfortheuminformationgain.

Informationgainparentnodeentropy-entropyofweighted

childnodes

TheID3algorithmprocess

isasfollows:

1.Ifalltheclasslabelsofthenodearethesame,stop

splitting;

2.Ifthereisnofeatureavailableforsplitting,determinetheclasslabelofthenode

basedonmajorityvotingandstopsplitting;

3.Selectthebestsplitfeature,spli