决策树_ID3算法课件.ppt

第 6 章 决策树;主要内容;主要内容;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树; 归纳学习由于依赖于检验数据，因此又称为检验学习。归纳学习存在一个基本的假设： 任一假设如果能够在足够大的训练样本集中很好的逼近目标函数，则它也能在未见样本中很好地逼近目标函数。该假定是归纳学习的有效性的前提条件。;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;归纳学习假设 机器学习的任务是在整个实例集合X上确定与目标概念c相同 的假设 。一般H表示所有可能假设。H中每个假设h表 示X上定义的布尔函数。由于对c仅有的信息只是它在训练样例上 的值，因此归纳学习最多只能保证输出的假设能与训练样例相拟 合。若没有更多的信息，只能假定对于未见实例最好的假设就是 训练数据最佳拟合的假设。 定义 归纳学习假设：任一假设如果在足够大的训练样例中很 好地逼近目标函数，则它也能在未见实例中很好地逼近目标函数。 （Function Approximation）。 ;主要内容;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;在决策树分类中，假设S是训练样本集合，|S|是训练样本数，样本 划分为n个不同的类C1,C2,….Cn，这些类的大小分别标记为|C1|， |C2|，…..,|Cn|。则任意样本S属于类Ci的概率为：;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;第6章 决策树;;YES;主要内容;第6章 决策树;第6章 决策树;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟???;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;规则2与规则4精度为100%，保留;关于过渡拟合;关于过渡拟合;主要内容;第6章 决策树;第6章 决策树;第6章 决策树;