数据挖掘最新课程完整数据分类决策树解析.ppt

变化三：处理连续值的训练样本（2/10） 示例 求利用C4.5算法在连续值描述属性A上的 最佳分割点 解： 第0步，将A的取值升序排列 {65,70,70,70,75,78,80,80,80,85,90,90,95,96} 第1步，计算vi=65时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（3/10） 解： 第1步，计算vi=65时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（4/10） 解： 第1步，计算vi=65时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（5/10） 解： 第2步，计算vi=70时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（6/10） 解： 第2步，计算vi=70时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（7/10） 解： 第2步，计算vi=70时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（8/10） 解： 第3步，计算vi=75时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（9/10） 解： 第3步，计算vi=75时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 变化三：处理连续值的训练样本（10/10） 解： 第3步，计算vi=75时的信息增益比 * A C 85 c2 90 c2 78 c1 96 c1 80 c1 70 c2 65 c1 95 c2 70 c1 80 c1 70 c1 90 c1 75 c1 80 c2 过拟合现象（Overfitting） 噪声引起分类面扭曲 数据缺失，使得决策树使用其它分类任务的预测值进行分类 分支太多，由噪声或孤立点产生异常 分类未见数据时精度低 剪枝方法处理过拟合 前剪枝 (Early Stopping Rule) 在生成完全树之前中止 典型的中止条件: 所有的样本属于同一类 所有的属性值相同 更严格的条件: 当树的深度达到用户给定阈值时 样本数少于用户指定的数量 样本的类分布独立于已知特征 (e.g., using ? 2 test) 如果继续划分当前节点并不会改善不纯度 (e.g., Gini or information gain). 剪枝方法处理过拟合 后剪枝 在生成完全树之后处理 以自底向上的方式修剪节点 如果修建后改善了泛化误差，则以叶节点代替子树 叶节点的类标号以子树中大多数样本的标号代替 可以使用 MDL 实现后剪枝 奥卡姆剃刀原理 简单有效原理 管理学，科学领域广泛适用 * 保险决策树 解决了哪类人更倾向于购买保险的问题 * 年龄 信誉度 公司职员 c1 c1 c2 c1 c2 =40 41~50 50 是 否 良 优 决策树向程序语言的转化 if (年龄=40 是公司职员) 买保险 if (年龄=40 不是公司职员) 不买保险 if (年龄介于41~50之间) 买保险 if (年龄50 信誉度为良) 买保险 if (年龄50 信誉度为优) 不买保险 * 基本决策树方法 基本算法 (贪婪算法) 自顶向下的分治算法构造树 开始, 所有的训练样本和树根相连 属性为分类属性 (若是连续值，则离散化) 根据选定的属性递