决策树培训讲义.pptVIP

* * * * * * * * * * * * * * * 其他决策树 Quest(quick unbiased efficient statistical tree)算法 Gini系数 SLIQ (Supervised Learning In Quest)算法 Gini系数 SPRINT (Scalable Parallelizable Induction of Classification Tree)算法 Gini系数 并行 PUBLIC(Pruning and Building Integrated in Classification)算法 Gini系数 预剪枝、MDL剪枝算法 CHAID(Chi-squared Automatic Interaction Detector)算法 Chi-square 第三十一页，共五十一页。 决策树剪枝 数据噪音 训练数据量少 过拟合 第三十二页，共五十一页。 决策树剪枝 预剪枝（前剪枝） 通过提前停止树的构造来对决策树进行剪枝 一旦停止该节点下树的继续构造，该节点就成了叶节点。 该叶节点持有其数据集中样本最多的类或者其概率分布 后剪枝 首先构造完整的决策树，允许决策树过度拟合训练数据， 然后对那些置信度不够的结点的子树用叶结点来替代 该叶节点持有其子树的数据集中样本最多的类或者其概率分布 第三十三页，共五十一页。 预