第章 数据分类决策树.pptxVIP

数据仓库与数据挖掘技术 ; 第5章 决策树和决策规那么 ;Age;5.1 引例;5.1 引例;5.2 分类问题概述;;;;;;;; 决策树方法的起源是亨特〔Hunt，1966〕的概念学习系统CLS方法，然后开展到由Quinlan研制ID3方法，然后到著名的C4.5算法，C4.5算法的一个优点是它能够处理连续属性。还有CART算法和Assistant算法也是比较有名的决策树方法。 ;决策树的优点： 进行分类器设计时，决策树分类方法所需时间相对较少 决策树的分类模型是树状结构，简单直观，比较符合人类的理解方式 可以将决策树中到达每个叶节点的路径转换为IF—THEN形式的分类规那么，这种形式更有利于理解;1. 什么是决策树 决策树〔Decision Tree〕又称为判定树，是运用于分类的一种树结构。其中的每个内部结点〔internal node〕代表对某个属性的一次测试，每条边代表一个测试结果，叶结点〔leaf〕代表某个类〔class〕或者类的分布〔class distribution〕，最上面的结点是根结点。 决策树提供了一种展示类似在什么条件下会得到什么值这类规那么的方法。下例是为了解决这个问题而建立的一棵决策树，从中可以看到决策树的根本组成局部：决策结点、分支和叶结点。;〖例〗图5-2 给出了一个商业上使用的决策树的例子。它表示了一个关心电子产品的用户是否会购置PC〔buys_computer〕的知识，用它可以预测某条记录〔某个人〕的购置意向。 ;这棵决策树对销售记录进行分类，指出一个电子产品消费者是否会购置一台计算机“buys_computer〞。每个内部结点〔方形框〕代表对某个属性的一次检测。每个叶结点〔椭圆框〕代表一个类： buys_computers=yes 或者 buys_computers=no ? 在这个例子中，样本向量为： 〔age, student, credit_rating; buys_computers〕 ? 被决策数据的格式为: 〔age, student, credit_rating〕 ? 输入新的被决策的记录，可以预测该记录隶属于哪个类。;2. 使用决策树进行分类 构造决策树是采用自上而下的递归构造方法。以多叉树为例，如果一个训练数据集中的数据有几种属性值，那么按照属性的各种取值把这个训练数据集再划分为对应的几个子集〔分支〕，然后再依次递归处理各个子集。反之，那么作为叶结点。 决策树构造的结果是一棵二叉或多叉树，它的输入是一组带有类别标记的训练数据。二叉树的内部结点〔非叶结点〕一般表示为一个逻辑判断，如形式为(a = b)的逻辑判断，其中a 是属性，b是该属性的某个属性值；树的边是逻辑判断的分支结果。多叉树〔ID3〕的内部结点是属性，边是该属性的所有取值，有几个属性值，就有几条边。树的叶结点都是类别标记。;使用决策树进行分类分为两步： 第1步：利用训练集建立并精化一棵决策树，建立决策树模型。这个过程实际上是一个从数据中获取知识，进行机器学习的过程。 第2步：利用生成完毕的决策树对输入数据进行分类。对输入的记录，从根结点依次测试记录的属性值，直到到达某个叶结点，从而找到该记录所在的类。 ;问题的关键是建立一棵决策树。这个过程通常分为两个阶段： 建树〔Tree Building〕：决策树建树算法见下，这是一个递归的过程，最终将得到一棵树。 剪枝〔Tree Pruning〕：剪枝的目的是降低由于训练集存在噪声而产生的起伏。; 由Quinlan在80年代中期提出的ID3算法是分类规那么挖掘算法中最有影响的算法。ID3即决策树归纳〔Induction of Decision Tree〕。早期的ID算法只能就两类数据进行挖掘〔如正类和反类〕；经过改进后，现在ID算法可以挖掘多类数据。待挖掘的数据必须是不矛盾的、一致的，也就是说，对具有相同属性的数据，其对应的类必须是唯一的。在ID3算法挖掘后，分类规那么由决策树来表示。 ;1. ID3算法的根本思想 由训练数据集中全体属性值生成的所有决策树的集合称为搜索空间，该搜索空间是针对某一特定问题而提出的。系统根据某个评价函数决定搜索空间中的哪一个决策树是“最好〞的。评价函数一般依据分类的准确度和树的大小来决定决策树的质量。如果两棵决策树都能准确地在测试集进行分类，那么选择较简单的那棵。相对而言，决策树越简单，那么它对未知数据的预测性能越佳。寻找一棵“最好〞的决策树是一个NP完全问题。 ;ID3使用一种自顶向下的方法在局部搜索空间创立决策树，同时保证找到一棵简单的决策树—可能不是最简单的。 ID3算法的根本思想描述如下： step 1．任意选取一个属性作为决策树的根结点，然后就这个属性所有的