机器学习__决策树过拟合问题.pptxVIP

决策树过拟合 决策树特点决策树是一种构建分类模型的非参数方法不需要昂贵的的计算代价决策树相对容易解释决策树是学习离散值函数的典型代表冗余属性不会对决策树的准确率造成不利影响 决策树特点找到最佳的决策树是NP完全问题数据碎片问题。随着数的生长，可能导致叶结点记录数太少，对于叶结点代表的类，不能做出具有统计意义的判决子树可能在决策树中重复多次。使决策树过于复杂。 一棵充分生长的树鸢尾花数据集 决策树过拟合问题当决策树很小时，训练和检验误差都很大，这种情况称为模型拟合不足。出现拟合不足的原因是模型尚未学习到数据的真实结构。随着决策树中结点数的增加，模型的训练误差和检验误差都会随之下降。当树的规模变得太大时，即使训练误差还在继续降低，但是检验误差开始增大，导致模型过分拟合。 例：对口罩销售定价进行分类样本集测试集产品名功能是否为纯色销售价位加厚口罩防尘否低保暖口罩保暖否高护耳口罩保暖是高活性炭口罩防雾霾是中三层防尘口罩防尘否低艺人同款口罩防尘是高呼吸阀口罩防雾霾是中产品名功能是否为纯色销售价位儿童口罩防尘是低情侣口罩保暖否高一次性口罩防尘否低无纺布口罩防尘是低颗粒物防护口罩防雾霾否中决策树过拟合问题 三层决策树训练误差为0，测试误差高达2/5两层决策树训练集拟合程度相比较低，但测试集表现更好产品名功能是否为纯色销售价位儿童口罩防尘是低情侣口罩保暖否高一次性口罩防尘否低无纺布口罩防尘是低颗粒物防护口罩防雾霾否中决策树过拟合问题 哺乳类动物分类的训练样本数据集。打星号的类标号代表错误标记的记录。哺乳类动物分类的检验数据集噪声导致的过分拟合决策树过拟合问题 缺乏代表性样本导致的过分拟合哺乳类动物分类的训练数据集五个训练记录，所有的记录都是正确标记的，对应的决策树尽管训练误差为0，但检验误差高达30%当决策树的叶结点没有足够的代表性样本时，很可能做出错误的预测。决策树过拟合问题 决策树剪枝1深度，测试集上正确率0.658331深度，训练集上正确率0.700003深度，测试集上正确率0.975003深度，训练集上正确率0.966675深度，测试集上正确率1.000005深度，训练集上正确率0.966677深度，测试集上正确率1.000007深度，训练集上正确率0.966679深度，测试集上正确率1.000009深度，训练集上正确率0.9666711深度，测试集上正确率1.0000011深度，训练集上正确率0.9666713深度，测试集上正确率1.0000013深度，训练集上正确率0.9666714深度，测试集上正确率1.0000014深度，训练集上正确率0.96667 决策树过拟合问题产生过拟合的原因产品名功能是否为纯色销售价位加厚口罩防尘否低保暖口罩保暖否高护耳口罩保暖是高活性炭口罩防雾霾是中三层防尘口罩防尘否低艺人同款口罩防尘是高呼吸阀口罩防雾霾是中数据中的噪声问题；训练集中缺乏具有代表性的样本；模型过度复杂。 决策树剪枝研究表明: 划分选择的各种准则虽然对决策树的尺寸有较大影响，但对泛化性能的影响很有限 例如信息增益与基尼指数产生的结果，仅在约 2% 的情况下不同 剪枝方法和程度对决策树泛化性能的影响更为显著 在数据带噪时甚至可能将泛化性能提升 25%解决决策树的过拟合问题：预剪枝 prepruning：提前停止生长后剪枝 post pruning：生长后进行修剪 THANKS