决策树分类要点分析.pptxVIP

遥感数字图像计算机分类的新算法;Logo;主要内容;遥感影像决策树分类;决策树;决策树;决策树;决策树;决策树;1. 什么是决策树 决策树（Decision Tree）又称为判定树，是运用于分类的一种树结构。其中的每个内部结点（internal node）代表对某个属性的一次测试，每条边代表一个测试结果，叶结点（leaf）代表某个类（class）或者类的分布（class distribution），最上面的结点是根结点。 决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。下例是为了解决这个问题而建立的一棵决策树，从中可以看到决策树的基本组成部分：决策结点、分支和叶结点。 ;〖例〗下图给出了一个商业上使用的决策树的例子。它表示了一个关心电子产品的用户是否会购买PC（buys_computer）的知识，用它可以预测某条记录（某个人）的购买意向。 ;这棵决策树对销售记录进行分类，指出一个电子产品消费者是否会购买一台计算机“buys_computer”。每个内部结点（方形框）代表对某个属性的一次检测。每个叶结点（椭圆框）代表一个类： buys_computers=yes 或者 buys_computers=no ? 在这个例子中，样本向量为： （age, student, credit_rating; buys_computers） 被决策数据的格式为: （age, student, credit_rating） 输入新的被决策的记录，可以预测该记录隶属于哪个类。;2. 使用决策树进行分类 构造决策树是采用自上而下的递归构造方法。以多叉树为例，如果一个训练数据集中的数据有几种属性值，则按照属性的各种取值把这个训练数据集再划分为对应的几个子集（分支），然后再依次递归处理各个子集。反之，则作为叶结点。 决策树构造的结果是一棵二叉或多叉树，它的输入是一组带有类别标记的训练数据。二叉树的内部结点（非叶结点）一般表示为一个逻辑判断，如形式为(a = b)的逻辑判断，其中a 是属性，b是该属性的某个属性值；树的边是逻辑判断的分支结果。多叉树（ID3）的内部结点是属性，边是该属性的所有取值，有几个属性值，就有几条边。树的叶结点都是类别标记。;使用决策树进行分类分为两步： 第1步：利用训练集建立并精化一棵决策树，建立决策树模型。这个过程实际上是一个从数据中获取知识，进行机器学习的过程。 第2步：利用生成完毕的决策树对输入数据进行分类。对输入的记录，从根结点依次测试记录的属性值，直到到达某个叶结点，从而找到该记录所在的类。 ;问题的关键是建立一棵决策树。这个过程通常分为两个阶段： 建树（Tree Building）：决策树建树算法见下，这是一个递归的过程，最终将得到一棵树。 剪枝（Tree Pruning）：剪枝的目的是降低由于训练集存在噪声而产生的起伏。 ;主要内容;决策树;决策树;决策树;决策树;决策树;决策树;决策树;第6章 决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;在决策树分类中，假设S是训练样本集合，|S|是训练样本数，样本 划分为n个不同的类C1,C2,….Cn，这些类的大小分别标记为|C1|， |C2|，…..,|Cn|。则任意样本S属于类Ci的概率为：;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;主要内容;决策树;决策树;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;关于过渡拟合;规则2与规则4精??为100%，保留;关于过渡拟合;关于过渡拟合;主要内容;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;决策树;主要内容;决策树;Thank you