4_分类：基本、决策树与模型评估辩析.ppt

处理决策树中的过分拟合 先剪枝 (Early Stopping Rule) 树增长算法在产生完全拟合整个训练数据集的之前就停止决策树的生长 为了做到这一点，需要采用更具限制性的结束条件: 当结点的记录数少于一定阈值，则停止生长 当不纯性度量的增益低于某个确定的阈值时，则停止生长 (e.g., information gain). 缺点：很难为提前终止选取正确的阈值: 阈值太高，导致拟合不足 阈值太低，导致不能充分解决过分拟合的问题。 处理决策树中的过分拟合… 后剪枝 在该方法中，初始决策树按照最大规模生长，然后进行剪枝的步骤，按照自底向上的方式修剪完全增长的决策树。 修剪有两种做法: 用新的叶结点替换子树，该叶结点的类标号由子树下记录中的多数类确定 用子树中最常用的分支代替子树 处理决策树中的过分拟合… 与先剪枝相比，后剪枝技术倾向于产生更好的结果。 因为不像先剪枝，后剪枝是根据完全增长的决策树作出的剪枝决策，先剪枝则可能过早终止决策树的生长。 然而，对于后剪枝，当子树被剪掉后，生长完全决策树的额外开销就被浪费了。 不平衡类问题 PREDICTED CLASS  ACTUALCLASS Class=Yes Class=No Class=Yes a(TP) b(FN) Class=No c(FP) d(TN) 准确率的缺点 考虑2类问题 类0的样本数 = 9990 类1的样本数 = 10 如果模型预测所有的样本为类0, 准确率为 9990/10000 = 99.9 % 准确率的值具有欺骗性 模型并没有分对类1的任何样本 度量 精度确定在分类器断言为正类的那部分记录中实际为正类的记录所占的比例。精度越高，分类器的假正类错误率就越低。 召回率度量被分类器正确预测的正样本的比例。具有高召回率的分类器很少将正样本误分为负样本。 ROC (Receiver Operating Characteristic) ROC曲线是显示分类器真正率（TPR）和假正率（FPR）之间折中的一种图形化方法。 ROC 曲线上有几个关键点，它们有公认的解释： （TPR=0，FPR=0）：把每个实例都预测为负类的模型 （TPR=1，FPR=1）：把每个实例都预测为正类的模型 （TPR=1，FPR=0）：理想模型 使用ROC曲线比较模型 没有哪个模型能够压倒对方 FPR0.36,M1 较好 FPR0.36, M2较好 ROC曲线下方的面积 理想情况: 面积= 1 随机猜测: 面积 = 0.5 怎样产生ROC曲线 Threshold = ROC 曲线: * 决策树 Hunt算法采用贪心策略构建决策树. 在选择划分数据的属性时，采取一系列局部最优决策来构造决策树. 决策树归纳的设计问题 如何分裂训练记录 怎样为不同类型的属性指定测试条件? 怎样评估每种测试条件? 如何停止分裂过程 停止分裂过程 当所有的记录属于同一类时，停止分裂 当所有的记录都有相同的属性时，停止分裂 提前终止树的生长 三种著名的决策树 Cart：基本的决策树算法 Id3：利用增益比不纯性，树采用二叉树，停止准则为当所有的记录属于同一类时，停止分裂，或当所有的记录都有相同的属性时，停止分裂 C4.5：id3的改进版本，也是最流行的分类数算法。采用多重分支和剪枝技术。 CART算法 由Friedman等人提出，1980年以来就开始发展，是基于树结构产生分类和回归模型的过程，是一种产生二元树的技术。 CART与C4.5/C5.0算法的最大的区别是：其在每一个节点上都是采用二分法，也就是一次只能够有两个子节点，C4.5/5.0则在每一个节点上可以产生不同数量的分枝。 * * 构建树的步骤： 决策树 特点: 决策树是一种构建分类模型的非参数方法 不需要昂贵的的计算代价 决策树相对容易解释 决策树是学习离散值函数的典型代表 决策数对于噪声的干扰具有相当好的鲁棒性 冗余属性不会对决策树的准确率造成不利影响 数据碎片问题。随着数的生长，可能导致叶结点记录数太少，对于叶结点代表的类，不能做出具有统计意义的判决 子树可能在决策树中重复多次。使决策树过于复杂 子树重复问题 Same subtree appears in multiple branches 决策边界 斜决策树 x + y 1 Class = + Class = 模型过分拟合和拟合不足 分类模型的误差大致分为两种： 训练误差：是在训练记录上误分类样本比例 泛化误差：是模型在未知记录上的期望误差 一个好的分类模型不仅要能够很好的拟合训练数据，而且对未知样本也要能准确分类。 换句话说，一个好的分类模型必须具有低训练误差和低泛化误差。 当训练数据拟合太好的模型，其泛化误