决策树培训讲义(PPT49页)[精品].pptxVIP

决策树Decision Tree简介 决策树算法是一种归纳分类算法,它通过对训练集的学习,挖掘出有用的规则,用于对新集进行预测。 有监督的学习。 非参数学习算法。对每个输入使用由该区域的训练数据计算得到的对应的局部模型。 决策树归纳的基本算法是贪心算法，自顶向下递归方式构造决策树。贪心算法：在每一步选择中都采取在当前状态下最好/优的选择。 在其生成过程中，分割方法即属性选择度量是关键。通过属性选择度量，选择出最好的将样本分类的属性。 决策树的结构 决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散输出的测试函数，记为分支。 根节点 非叶子节点（决策点） 叶子节点 分支决策树的结构根部节点(root node)非叶子节点(non-leaf node)(代表测试的条件，对数据属性的测试)分支(branches)(代表测试的结果)叶节点(leaf node)(代表分类后所获得的分类标记)单变量树 每个内部节点中的测试只使用一个输入维。如果使用的输入维 是离散的，取n个可能的值之一，则该节点检测 的值，并取相应的分支，实现一个n路划分。 决策点具有离散分支，而数值输入应当离散化。如果 是数值的（有序的），则测试函数是比较： 其中 是适当选择阈值。该决策节点将输入空间一份为二： 和 ，称为一个二元划分