4_分类：基本概念、决策树与模型评估汇编.ppt

处理决策树中的过分拟合 先剪枝 (Early Stopping Rule) 树增长算法在产生完全拟合整个训练数据集的之前就停止决策树的生长 为了做到这一点，需要采用更具限制性的结束条件: 当结点的记录数少于一定阈值，则停止生长 当不纯性度量的增益低于某个确定的阈值时，则停止生长 (e.g., information gain). 缺点：很难为提前终止选取正确的阈值: 阈值太高，导致拟合不足 阈值太低，导致不能充分解决过分拟合的问题。 处理决策树中的过分拟合… 后剪枝 在该方法中，初始决策树按照最大规模生长，然后进行剪枝的步骤，按照自底向上的方式修剪完全增长的决策树。 修剪有两种做法: 用新的叶结点替换子树，该叶结点的类标号由子树下记录中的多数类确定 用子树中最常用的分支代替子树 处理决策树中的过分拟合… 与先剪枝相比，后剪枝技术倾向于产生更好的结果。 因为不像先剪枝，后剪枝是根据完全增长的决策树作出的剪枝决策，先剪枝则可能过早终止决策树的生长。 然而，对于后剪枝，当子树被剪掉后，生长完全决策树的额外开销就被浪费了。 不平衡类问题 PREDICTED CLASS  ACTUALCLASS Class=Yes Class=No Class=Yes a(TP) b(FN) Class=No c(FP) d(TN) 准确率的缺点 考虑2类问题 类0的样本