决策树基本研究.pptVIP

关于过渡拟合 第6章 决策树 后修剪法（后剪枝法）例 规则1 IF A=Y AND B=Y THEN + 规则2 IF A=Y AND B=N AND C=Y THEN + 规则3 IF A=Y AND B=N AND C=N THEN – 规则4 IF A=N THEN - 规则 分类正确的数目 分类错误的数目 精度 1 5 3 5/8 2 4 0 4/4 3 3 2 3/5 4 3 0 3/3 第2步 规则精度的计算 决策树研究问题 规则2与规则4精度为100%，保留 关于过渡拟合 第6章 决策树 后修剪法（后剪枝法）例 规则 分类正确的数目 分类错误的数目 精度 1 5 3 5/8 2 4 0 4/4 3 3 2 3/5 4 3 0 3/3 第3步 对规则进行修剪 规则 去掉A 去掉B 去掉C 去掉AB 去掉BC 去掉AC 选择 1 5/10 11/17 去掉B 3 4/6 6/8 3/9 8/10 4/10 6/17 去掉AB 决策树研究问题 ? 关于过渡拟合 第6章 决策树 后修剪法（后剪枝法）例 第3步 对规则进行修剪-最终规则集合为 规则 去掉A 去掉B 去掉C 去掉AB 去掉BC 去掉AC 选择 1 5/10 11/17 去掉B 3 4/6 6/8 3/9 8/10 4/10 6/17 去掉AB 规则1 IF A=Y AND B=Y THEN + 规则2 IF A=Y AND B=N AND C=Y THEN + 规则3 IF A=Y AND B=N AND C=N THEN – 规则4 IF A=N THEN - 原始规则集合 规则1 IF A=Y THEN + 规则2 IF A=Y AND B=N AND C=Y THEN + 规则3 IF C=N THEN – 规则4 IF A=N THEN - 最终规则集合 决策树研究问题 关于过渡拟合 第6章 决策树 后修剪法（后剪枝法）例 第4步 根据精度和泛化能力对对规则进行排序 IF A=N THEN - {18，19，20} IF A=Y AND B=N AND C=Y THEN + {9,10,11,12} IF C=N THEN – {6,7,8,13,14,15,16,17} IF A=Y THEN +{1,2,3,4,5} 尽管{13，14}仍然被错分，但整个模型的精度提高了 决策树研究问题 主要内容 决策树基本概念 决策树算法 决策树研究问题 主要参考文献 第6章 决策树 主要参考文献 几个数据 万方数据库中查询涉及决策树的学位论文； 时间跨度是2005-2009； 查询结果是245篇（硕士论文居多） 按照以下三个领域分类： 1 利用决策树解决实际问题； 2 利用决策树与其它数据挖掘（机器学习）结合改进； 3 有关决策树的改进方法。 约150篇 约100篇 第6章 决策树 主要参考文献 几个数据 万方数据库中查询涉及决策树的期刊论文 时间跨度是2005-2009； 查询结果是982篇 按照以下三个领域分类： 1 利用决策树解决实际问题； 2 利用决策树与其它数据挖 掘（机器学习）结合改进； 3 有关决策树的改进方法。 约600篇 约400篇 非计算机领域占相当部分 计算机领域的主要期刊没有 一篇 以研究与发展为例，前100篇中有4篇 初略估计1000篇中有40篇，平均每年 8篇，该期刊每年发表文章360篇， 占比8/360=2.2%.研究与发展录用率 约8-10%。可以初略推算出每年收到 的关于决策树方面的论文约80-100篇 第6章 决策树 主要参考文献 几个数据 以上几个关于决策树的数据也许能够表明，尽管决策树非常古老， 但目前仍然有相当部分的研究人员和研究项目和工程项目。仍然 是硕士研究生可以加以研究的主要方向。 另外，通过对这些数据的分析，我也想告诉大家，数据是非常宝贵 的。特别是学校科研项目多数是研究项目，对海量数据集合的获得 非常不容易。而目前数据挖掘研究和应用往往和大数据集合有关。 像网络日志、万方数据、国外数据挖掘通用数据集合（一般都比较 小）等都是我们可以利用的数据集合。 * 第6章 决策树 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 6