分类决策树_ID3算法(精华-理论加实例).pptxVIP

第 6 章 决策树决策树基本概念决策树算法决策树研究问题主要内容决策树基本概念决策树算法决策树研究问题第6章 决策树决策树基本概念关于分类问题 分类（Classification）任务就是通过学习获得一个目标函数（Target Function）f, 将每个属性集x映射到一个预先定义好的类标号y。 分类任务的输入数据是纪录的集合，每条记录也称为实例或者样例。用元组(X,y)表示，其中，X 是属性集合，y是一个特殊的属性，指出样例的类标号（也称为分类属性或者目标属性）第6章 决策树决策树基本概念关于分类问题名称体温表皮覆盖胎生水生动物飞行动物有腿冬眠类标号人类恒温毛发是否否是否哺乳动物海龟冷血鳞片否半否是否爬行类鸽子恒温羽毛否否是是否鸟类鲸恒温毛发是是否否否哺乳类Xy分类与回归分类目标属性y是离散的，回归目标属性y是连续的第6章 决策树决策树基本概念解决分类问题的一般方法 分类技术是一种根据输入数据集建立分类模型的系统方法。分类技术一般是用一种学习算法确定分类模型，该模型可以很好地拟合输入数据中类标号和属性集之间的联系。学习算法得到的模型不仅要很好拟合输入数据，还要能够正确地预测未知样本的类标号。因此，训练算法的主要目标就是要建立具有很好的泛化能力模型，即建立能够准确地预测未知样本类标号的模型。 分类方法的实例包括：决策树分类法、基于规则的分类法、神经网络、支持向量级、朴素贝叶斯分类方法等。第6章 决策树决策树基本概念解决分类问题的一般方法 通过以上对分类问题一般方法的描述，可以看出分类问题一般包括两个步骤： 1、模型构建（归纳） 通过对训练集合的归纳，建立分类模型。 2、预测应用（推论） 根据建立的分类模型，对测试集合进行测试。第6章 决策树决策树基本概念解决分类问题的一般方法训练集（类标号已知）学习算法TIDA1A2A3类1Y100LN2N125SN3Y400LY4N415MN学习模型归纳模型检验集（类标号未知）应用模型TIDA1A2A3类1Y100L？2N125S？3Y400L？4N415M？推论第6章 决策树决策树基本概念决策树 决策树是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。第6章 决策树决策树基本概念决策树的优点1、推理过程容易理解，决策推理过程可以表示成If Then形式；2、推理过程完全依赖于属性变量的取值特点；3、可自动忽略目标变量没有贡献的属性变量，也为判断属性 变量的重要性，减少变量的数目提供参考。第6章 决策树决策树基本概念关于归纳学习(1) 决策树技术发现数据模式和规则的核心是归纳算法。 归纳是从特殊到一般的过程。归纳推理从若干个事实中表征出的特征、特性和属性中，通过比较、总结、概括而得出一个规律性的结论。 归纳推理试图从对象的一部分或整体的特定的观察中获得一个完备且正确的描述。即从特殊事实到普遍性规律的结论。归纳对于认识的发展和完善具有重要的意义。人类知识的增长主要来源于归纳学习。第6章 决策树决策树基本概念关于归纳学习(2) 归纳学习的过程就是寻找一般化描述的过程。这种一般性描述能够解释给定的输入数据，并可以用来预测新的数据。 锐角三角形内角和等于180度； 钝角三角形内角和等于180度； 三角形内角和 直角三角形内角和等于180度； 等于180度 已知三角形ABC，A角等于76度，B角等于89度，则其C角等于15度第6章 决策树决策树基本概念关于归纳学习(3) 归纳学习由于依赖于检验数据，因此又称为检验学习。归纳学习存在一个基本的假设： 任一假设如果能够在足够大的训练样本集中很好的逼近目标函数，则它也能在未见样本中很好地逼近目标函数。该假定是归纳学习的有效性的前提条件。第6章 决策树决策树基本概念关于归纳学习(4) 归纳过程就是在描述空间中进行搜索的过程。归纳可分为自顶向下，自底向上和双向搜索三种方式。 自底向上法一次处理一个输入对象。将描述逐步一般化。直到最终的一般化描述。 自顶向下法对可能的一般性描述集进行搜索，试图找到一些满足一定要求的最优的描述。第6章 决策树决策树基本概念从机器学习看分类及归纳推理等问题（1） 从特殊的训练样例中归纳出一般函数是机器学习的中心问题；从训练样例中进行学习通常被视为归纳推理。每个例子都是一个对偶（序偶）（x, f(x)），对每个输入的x，都有确定的输出f(x)。 学习过程将产生对目标函数f的不同逼近。F的每一个逼近都叫做一个假设。假设需要以某种形式表示。例如，y=ax+b。通过调整假设的表示，学习过程将产生出假设的不同变形。在表示中通常需要修改参数（如a, b）。 第6章