如何解决决策树过拟合.pptVIP

构造决策树 如何解决过度拟合数据问题 * 怎么去认识并去解决这个问题？ 概念 原因 解决 什么是过度拟合数据 过度拟合数据是怎么产生的 怎么去解决这个问题 * 一.什么是过度拟合数据？ 过度拟合（overfitting）的标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。 overfittingt是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfitting的现象。 * 二.产生过度拟合数据问题的原因有哪些？ 原因1：样本问题 （1）样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；（什么是噪音数据？） （2）样本抽取错误，包括（但不限于）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景； （3）建模时使用了样本中太多无关的输入变量。 原因2：构建决策树的方法问题 在决策树模型搭建中，我们使用的算法对于决策树的生长没有合理的限制和修剪的话，决策树的自由生长有可能每片叶子里只包含单纯的事件数据或非事件数据，可以想象，这种决策树当然可以完美匹配（拟合）训练数据，但是一旦应用到新的业务真实数据时，效果是一塌糊涂。 * 上面的原因都是现象，但是其本质只有一个，那就是“业务逻辑理解错误造成的”，无论是抽样，还是噪音，还是决策树等等，如果我们对于业务背景和业务知识非常了解，非常透彻的话，一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求，到思路讨论，到搭建，到业务应用验证，各个环节都是可以用业务敏感来防止过拟合于未然的。 * 三.如何解决过度拟合数据问题的发生？ 针对原因1的解决方法： 合理、有效地抽样，用相对能够反映业务逻辑的训练集去产生决策树； 针对原因2的解决方法（主要）： 剪枝：提前停止树的增长或者对已经生成的树按照一定的规则进行后剪枝。 * 剪枝 剪枝是一个简化过拟合决策树的过程。有两种常用的剪枝方法： 先剪枝（prepruning）：通过提前停止树的构建而对树“剪枝”，一旦停止，节点就成为树叶。该树叶可以持有子集元组中最频繁的类； 有多种不同的方式可以让决策树停止生长，下面介绍几种停止决策树生长的方法： 1.定义一个高度，当决策树达到该高度时就可以停止决策树的生长，这是一种最为简单的方法； 2.达到某个结点的实例具有相同的特征向量，即使这些实例不属于同一类，也可以停止决策树的生长。这种方法对于处理数据中的数据冲突问题非常有效； * 剪枝 * 3.定义一个阈值，当达到某个结点的实例个数小于该阈值时就可以停止决策树的生长； 4.定义一个阈值，通过计算每次扩张对系统性能的增益，并比较增益值与该阈值的大小来决定是否停止决策树的生长。 先剪枝方法不但相对简单，效率很高，而且不需要生成整个决策树，适合于解决大规模问题。该方法看起来很直接，但要精确地估计决策树生长的停止时间并不容易，即选取一个恰当的阈值是非常困难的。高阈值可能导致过分简化的树，而低阈值可能使得树的简化太少。 剪枝 后剪枝（postpruning）：它首先构造完整的决策树，允许树过度拟合训练数据，然后对那些置信度不够的结点子树用叶子结点来代替，该叶子的类标号用该结点子树中最频繁的类标记。相比于先剪枝，这种方法更常用，正是因为在先剪枝方法中精确地估计何时停止树增长很困难。 * A1？ A2？ A3？ A4？ A5？ A1？ A2？ A4？ 类A 类B 类A 类B 类A 类B 类A 类B 类A 类B yes no yes no no no no no no no yes yes yes yes yes yes 剪枝后 剪枝的思路 无论是通过及早停止还是后修剪来得到正确规模的树，一个关键的问题是使用什么样的准则来确定最终正确树的规模： 1.使用训练集合(Training Set）和验证集合(Validation Set)，来评估剪枝方法在修剪结点上的效用。 2.使用所有的训练集合进行训练，但是用统计测试来估计修剪特定结点是否会改善训练集合外的数据的评估性能。测试来进一步扩展结点