决策树技术课件.pptxVIP

决策树技术 Decision Trees组员：贾小彦 邓蓓蓓 戴维内容提要简介决策树基本概念决策树的优缺点经典算法简介决策树和决策规则是解决实际应用中分类问题的数据挖掘方法。一般来说，分类是把数据项映射到其中一个事先定义的类中的这样一个学习函数的过程。由一组输入的属性值向量(也叫属性向量)和相应的类，用基于归纳学习算法得出分类。学习的目标是构建一个分类模型，通常也叫分类器。它可以根据有效的属性输入值预测一些实体(所给样本)的类。是一个在样本其他属性已知的情况下预测另外一个属性(样本的类)的模型(分类的结果)。(a) 决策树方法的起源是概念学习系统CLS(b) 机器学习领域前辈及大牛之一Quinlan,J.R,在1983提出ID3决策树算法；1993年正式提出了c4.5算法,并公布了源代码2002年发表C5.0 （See5）商业版决策树的另一类家族： CART 1984， Friedman Breiman决策树基本概念 决策树是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。下图是一个简单的决策树。该问题有两个属性X,Y。所有属性值X1和YB的样本属于类2。不论属性Y的值是多少，值X 1的样本都属于类1。决策树的表示决策树的基本组成部分：决策结点、分支和叶子。 决策树中最上面的结点称为根结点是整个决策树的开始。每个分支是一个新的决策结点，或者是树的叶子。 每个决策结点代表一个问题或者决策通常对应待分类对象的属性。 每个叶结点代表一种可能的分类结果 在沿着决策树从上到下的遍历过程中，在每个结点都有一个测试。对每个结点上问题的不同测试输出导致不同的分枝，最后会达到一个叶子结点。这一过程就是利用决策树进行分类的过程，利用若干个变量来判断属性的类别 决策树的优、缺点决策树的优点1、推理过程容易理解，决策推理过程可以表示成If Then形式；2、推理过程完全依赖于属性变量的取值特点；3、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。决策树的缺点1、对连续性的字段比较难预测2、当类别太多时，错误可能会增加的比较快3、一般的算法分类的时候，只是根据一个属性来分类。不是全局最优。 经典算法——ID3学习算法决策树的生成基本算法自上而下分而治之的方法开始时，所有的数据都在根节点属性都是种类字段 (如果是连续的，将其离散化)所有记录用所选属性递归的进行分割属性的选择是基于一个启发式规则或者一个统计的度量 停止分割的条件一个节点上的数据都是属于同一个类别没有属性可以再用于对数据进行分割重要问题：哪个属性作为当前的测试节点信息论相关内容Shannon1948年提出的信息论理论。事件ai的信息I （ ai ）可如下度量：其中p(ai)表示事件ai发生的概率。假设有n个互不相容的事件a1,a2,a3,….,an,它们中有且仅有一个发生，则其平均的信息量可如下度量：公式1上式，对数底数可以为任何数，不同的取值对应了熵的不同单位。通常取2，并规定当p(ai)=0时=0在决策树分类中，假设S是训练样本集合，|S|是训练样本数，样本划分为n个不同的类C1,C2,….Cn，这些类的大小分别标记为|C1|，|C2|，…..,|Cn|。则任意样本S属于类Ci的概率为：Entropy（S，A）=∑（|Sv|/|S|）* Entropy(Sv) 公式2 ∑是属性A的所有可能的值v,Sv是属性A有v值的S子集|Sv|是Sv 中元素的个数；|S|是S中元素的个数。Gain（S，A）是属性A在集合S上的信息增益Gain（S，A）= Entropy(s)-Entropy（S，A） 公式3Gain（S，A）越大，说明选择测试属性对分类提供的信息越多熵的计算Eg1:Eg2:假定公司收集了左表数据，那么对于任意给定的客人（测试样例），你能帮助公司将这位客人归类吗？即：你能预测这位客人是属于“买”计算机的那一类，还是属于“不买”计算机的那一类？又：你需要多少有关这位客人的信息才能回答这个问题？第1步计算决策属性的熵计数年龄收入学生信誉归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买决策属性“买计算机？”。该属性分两类：买/不买S1(买)=641S2（不买）= 383S=S1+S2=1024P1=641/1024=0.6260P2=383/1024=0.3740I(S1,S2)=I(641,383) =-P1Log2P1-P2Log2P2 =-(P1L