数据挖掘导论第四章.pptVIP

* 数据挖掘导论 * 过拟合 过拟合导致具有不必要的复杂度的决策树 需要对决策树剪枝, 降低复杂度 如何评估一个分支是否需要剪去估计泛化误差 在训练集上估计 使用再代入估计 结合模型复杂度 估计统计上界 在确认集(validation set)上估计 确认集是训练集的一部分，不是检验集 * 数据挖掘导论 * Occam剃刀 Occam’s Razor Given two models of similar generalization errors, one should prefer the simpler model over the more complex model Einstein Everything should be made as simple as possible, but not simpler. * 数据挖掘导论 * 估计泛化误差 使用再代入误差: 再代入误差就是训练误差 假设训练数据集可以很好地代表整体数据 提供对泛化误差的乐观估计, 一般很难剪枝 * 数据挖掘导论 * 估计泛化误差(续) 结合模型复杂度 悲观误差评估 最小描述长度 悲观误差评估 用训练误差与模型复杂度罚项的和估计泛化误差eg(T) 其中，n(t)是结点t分类的训练记录数 e(t)是被误分类的记录数 k是决策树的叶结点数 e(T)决策树的总训练误差 Nt是训练记录数 ?(ti)是每个结点ti对应的罚项，?(T)是树的罚项（结点罚项和） * 数据挖掘导论 * 悲观误差评估: 例 例：24个记录，TL有7个树叶，TR有4个树叶 取?(ti)=0.5意味 对于二路划分，?(ti)=0.5意味只要减少一个错误就可以划分一个结点 * 数据挖掘导论 * 最小描述长度 最小描述长度（Minimum Description Length, MDL）原则 Cost(Model,Data) = Cost(Data|Model) + Cost(Model) Cost is the number of bits needed for encoding. Search for the least costly model. Cost(Data|Model) encodes the misclassification errors. Cost(Model) uses node encoding (number of children) plus splitting condition encoding A B A? B? C? 1 0 0 1 Yes No B 1 B 2 C 1 C 2 * 数据挖掘导论 * 使用确认集 训练数据集分为两个较小的子集，一个子集用于训练，而另一个称作确认集，用于估计泛化误差 典型的做法 三分之二的训练集来建立模型 三分之一用作误差估计 优点：简单，较好地估计泛化误差 缺点：减少了用于训练的记录 * 数据挖掘导论 * 处理过拟合: 剪枝 Pre-Pruning (Early Stopping Rule) Stop the algorithm before it becomes a fully-grown tree Typical stopping conditions for a node: Stop if all instances belong to the same class Stop if all the attribute values are the same More restrictive conditions: Stop if number of instances is less than some user-specified threshold Stop if class distribution of instances are independent of the available features (e.g., using ? 2 test) Stop if expanding the current node does not improve impurity measures (e.g., Gini or information gain). * 数据挖掘导论 * 处理过拟合: 剪枝 Post-pruning Grow decision tree to its entirety Trim the nodes of the decision tree in a bottom-up fashion If generalization error improves after trimming, replace sub-tree