第八章 分类预测-决策树方法.pptVIP

* 后面两个幻灯片的内容可以自己对着书讲，让学生看幻灯片，而后再过到后面算法扼要说明每个子集的计算即可。 * Vi={v1=Sunny, v2=Overcast, v3=Rain} * 至此可以下课；下一节讲MDL原理和决策树学习的遗留问题 * 计划第二次课开始处，集中在问题：如何唯一确定决策树及解决回溯问题 * 如果前面联系计算信息增益费时较多，此处可以结束本章；信息增益是“生死手”；从ID3 到C4.5 是锦上添花；从C4.5 到C5.0 是精益求精； 课下要求学习C4.5 （现在已经是C5.0，加了Boosting, 偏爱深树）利用后修剪技术来克服过度拟合问题，属于C4.5算法的具体内容，可以不在课堂上讲的。 另外，剪枝策略涉及到估计精度的分布问题，可以留待学完第五章 “假设评估方法”之后要求掌握。 * 此中为具有不同节点个数的多对假设（每一对有不相同的节点个数），即(左右)横向比较。 * 到此结束，后面的可以自学，理由，限于时间关系，不能都讲。 * 数据库新技术 (数据挖掘) * / 34 4.2 C4.5的修剪算法 滞后修剪 将生成树转换成规则再修剪，自己阅读 从叶子节点向上逐层修剪 误差估计，在训练样本集上估计误差 通常，估计生成的决策树在测试集上的预测误差 修剪标准 修剪示例 * 数据库新技术 (数据挖掘) * / 34 4.2.1 避免过度拟合数据 过度拟合 对于一个假设h，如果存在其他的假设对训练样例的拟合比它差，但在实例的整个分布上却表现得更好时，我们说这个假设h过度拟合训练样例 定义：给定一个假设空间H，一个假设h?H，如果存在其他的假设h’?H，使得在训练样例上h的错误率比h’小，但在整个实例分布上h’的错误率比h小，那么就说假设h过度拟合训练数据。 图3-6的例子 ，说明树的尺寸(节点数)对测试精度和训练精度的影响——避免过度拟合必须控制树尺寸! * 数据库新技术 (数据挖掘) * / 34 Overfitting * 数据库新技术 (数据挖掘) * / 34 避免过度拟合必须控制树尺寸 High accuracy, small error Low accuracy, big error * 数据库新技术 (数据挖掘) * / 34 避免过度拟合数据（2） 导致过度拟合的原因 一种可能原因是训练样例含有随机噪声 当训练数据没有噪声时，过度拟合也有可能发生，特别是当少量的样例被关联到叶子节点时，很可能出现巧合的规律性，使得一些属性恰巧可以很好地分割样例，但却与实际的目标函数并无关系。 * 数据库新技术 (数据挖掘) * / 34 避免过度拟合数据（3） 避免过度拟合的方法 及早停止树增长 后修剪法 两种方法的特点 第一种方法更直观，但是精确地估计何时停止树增长很困难 第二种方法被证明在实践中更成功 * 数据库新技术 (数据挖掘) * / 34 避免过度拟合数据（4） 避免过度拟合的关键 使用什么样的准则来计算最终决策树的尺寸 解决方法 使用与训练样例不同的一套分离的样例来评估通过后修剪方法从树上修剪节点的效用。 使用所有可用数据进行训练，但进行统计测试来估计扩展（或修剪）一个特定的节点是否有可能改善在训练集合外的实例上的性能。 使用一个显式的标准来测度训练样例和决策树的编码复杂度，当这个测度最小时停止树增长。 * 数据库新技术 (数据挖掘) * / 34 避免过度拟合数据（5） 方法评述 第一种方法是最普通的，常被称为训练和验证集法 可用的数据分成两个样例集合： 训练集合，形成学习到的假设 验证集合，评估这个假设在后续数据上的精度 方法的动机：即使学习器可能会被训练集合误导，但验证集合不大可能表现出同样的随机波动 验证集合应该足够大，以便它本身可提供具有统计意义的实例样本。 常见的做法是，样例的三分之二作训练集合， 三分之一作验证集合。 * 数据库新技术 (数据挖掘) * / 34 4.2.1 C5.0决策树的误差估计 针对决策树的每个节点，以输出变量的众数类别为预测类别； 设第i个节点包含Ni个观测样本值，有Ei个预测错误的观测，错误率，即误差 在误差近似正态分布的假设下，对第i个节点的真实误差 进行区间估计，置信度定位1- ，有悲观估计： * 数据库新技术 (数据挖掘) * / 34 4.2.2 C5.0决策树的修剪标准 在误差估计的基础上，依据“减少误差”法判断是否修剪节点； 计算待剪子树中叶子节点的加权误差 与父节点的误差进行比较 父节点的误差较小，则剪掉该子树 父节点的误差较大，保留该子树 * 数据库新技术 (数据挖掘) * / 34 修剪节点、降低错误率 将树上的每一个节