分类基本概念、决策树跟模型评估.pptVIP

处理决策树中的过分拟合… 后剪枝 在该方法中，初始决策树按照最大规模生长，然后进行剪枝的步骤，按照自底向上的方式修剪完全增长的决策树。 修剪有两种做法: 用新的叶结点替换子树，该叶结点的类标号由子树下记录中的多数类确定 用子树中最常用的分支代替子树 处理决策树中的过分拟合… 与先剪枝相比，后剪枝技术倾向于产生更好的结果。 因为不像先剪枝，后剪枝是根据完全增长的决策树作出的剪枝决策，先剪枝则可能过早终止决策树的生长。 然而，对于后剪枝，当子树被剪掉后，生长完全决策树的额外开销就被浪费了。 不平衡类问题 PREDICTED CLASS  ACTUALCLASS Class=Yes Class=No Class=Yes a(TP) b(FN) Class=No c(FP) d(TN) 准确率的缺点 考虑2类问题 类0的样本数 = 9990 类1的样本数 = 10 如果模型预测所有的样本为类0, 准确率为 9990/10000 = 99.9 % 准确率的值具有欺骗性 模型并没有分对类1的任何样本 度量 精度确定在分类器断言为正类的那部分记录中实际为正类的记录所占的比例。精度越高，分类器的假正类错误率就越低。 召回率度量被分类器正确预测的正样本的比例。具有高召回率的分类器很少将正样本误分为负样本。 ROC (Receiver Operating