分类预测-决策树方法 幻灯片.pptVIP

* 后面两个幻灯片的内容可以自己对着书讲，让学生看幻灯片，而后再过到后面算法扼要说明每个子集的计算即可。 * Vi={v1=Sunny, v2=Overcast, v3=Rain} * 至此可以下课；下一节讲MDL原理和决策树学习的遗留问题 * 计划第二次课开始处，集中在问题：如何唯一确定决策树及解决回溯问题 * 如果前面联系计算信息增益费时较多，此处可以结束本章；信息增益是“生死手”；从ID3 到C4.5 是锦上添花；从C4.5 到C5.0 是精益求精； 课下要求学习C4.5 （现在已经是C5.0，加了Boosting, 偏爱深树）利用后修剪技术来克服过度拟合问题，属于C4.5算法的具体内容，可以不在课堂上讲的。 另外，剪枝策略涉及到估计精度的分布问题，可以留待学完第五章 “假设评估方法”之后要求掌握。 * 此中为具有不同节点个数的多对假设（每一对有不相同的节点个数），即(左右)横向比较。 * 到此结束，后面的可以自学，理由，限于时间关系，不能都讲。 * 数据库新技术 (数据挖掘) * / 34 4.2 C4.5的修剪算法 滞后修剪 将生成树转换成规则再修剪，自己阅读 从叶子节点向上逐层修剪 误差估计，在训练样本集上估计误差 通常，估计生成的决策树在测试集上的预测误差 修剪标准 修剪示例 * 数据库新技术 (数据挖掘) * / 34 4.2.1 避免过度拟合数据