分类决策树_ID3算法共52页文档.ppt

息决巢树 决树基本概念 决蒙树算渎  息主要内 决業树基本概念 决蒙树算渎  决树基本概念 关于分类问题 分类( Classification)任务就是通过学习获得一个目标函数 ( Target Function)f,将每个屬性集x映射到一个预先定义好的类 标号y 分类任务的输入数据是纪录的集合,每条记录也称为实例 或者样例。用元纽(Ⅹy)表示,其中,Ⅹ是属性集合,y是一个 特殊的属性,指出样例的类标号(也称为分类属性或者目标属性)  决树基本概念 关于分类问题 名称体温表皮覆胎生水生动飞行动有腿冬眠类标 人类恒温毛发 是 否 物否否是否 否哺乳动 海龟泠血|鳞片否 半 鸽子恒温羽毛否否 是是是否 否|爬行类 否|鸟类 鲸 恒温毛发 是 是 否哺乳桊 分类与回归 分类目标属性y是高散的,回归目标屬性y是连续的  决蒙树基本概念 解决分类问题的一般方法 分类技术是一种根据输入数据集建立分类模型的糸统方法。 分类技术一般是用一种学习算法确定分类模型,该模型可以很好 地拟合输入数据中类标号和属性集之间的联糸。学习算法得到的 模型不仅要很好拟合输入数据,还要能够正确地预测未知样本的 类标号。因此,训练算法的主要目标就是要建立具有很好的泛化 能力模型,即建立能够准确地预测朱知样本类标号的模型。 分类方法的实例包括:决策树分类法、基于规则的分类法、 神经网絡、支持向量级、朴素贝叶斯分类方法等。  决树基本概念 解决分类问题的一般方法 通过以上对分类问题一般方法的描述,可以看出分类问题 般包括两个步骤: 1、模型构建(归纳) 通过对训练集合的归纳,建立分类模型。 2、预测应用(推论) 根据建立的分类模型,对测试集合进行测试。  决树基本概念 解决分粪问题的一般方法 训练集(类标号已知) 学习算法 TID 12 400 学习模型 归纳 415M 模型 检验(类标号未知丿 TID Al A2 A3 应用模型 10C L 推论 400 L 4 M  决树基本概念 决草树 决策树是一种典型的分类方法,首先对数据迸行处理,利用 归纳算法生成可读的规则和决策树,然后使用决策对新数据进行 分析。本质上决策树是通过一糸列规則对数据进行分类的过程。  决策树基本概念 决树的优点 1、推理过程容易理解,决策推理过程可以表示成If Then形式; 2、推理过程完全依賴于属性变量的取值特点; 3、可自动忽略目标变量没有贡献的属性变量,也为判 断属性 变量的重要性,减少变量的数目提供参考。  息主要内 决策树基本概念 决策树算法