决策树技术培训课程.pptVIP

决策树技术 Decision Trees;内容提要;简介;(a) 决策树方法的起源是概念学习系统CLS (b) 机器学习领域前辈及大牛之一Quinlan,J.R, 在1983提出ID3决策树算法； 1993年正式提出了c4.5算法,并公布了源代码 2002年发表C5.0 （See5）商业版 决策树的另一类家族： CART 1984， Friedman Breiman ;决策树基本概念;下图是一个简单的决策树。该问题有两个属性X,Y。所有属性值X1和YB的样本属于类2。不论属性Y的值是多少，值X 1的样本都属于类1。;决策树的表示; 在沿着决策树从上到下的遍历过程中，在每个结点都有一个测试。对每个结点上问题的不同测试输出导致不同的分枝，最后会达到一个叶子结点。这一过程就是利用决策树进行分类的过程，利用若干个变量来判断属性的类别;决策树的优点 1、推理过程容易理解，决策推理过程可以表示成If Then形式； 2、推理过程完全依赖于属性变量的取值特点； 3、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。; 经典算法——ID3学习算法 ;决策树的生成;重要问题：哪个属性作为当前的测试节点;信息论相关内容;上式，对数底数可以为任何数，不同的取值对应了熵的不同单位。 通常取2，并规定当p(ai)=0时 =0;在决策树分类中，假设S是训练样本集合，|S|是训练样本数，样本划分为n个不同的类C1,C2,….Cn，这些类的大小分别标记为|C1|，|C2|，…..,|Cn|。则任意样本S属于类Ci的概率为：;Gain（S，A）是属性A在集合S上的信息增益 Gain（S，A）= Entropy(s)-Entropy（S，A） 公式3 Gain（S，A）越大，说明选择测试属性对分类提供的信息越多;熵的计算;Eg2:;计数;计数;第2-2步计算年龄的熵;第2-4步计算年龄的熵;计数;第4步计算学生的熵;第6步计算选择节点 ;计数;计数;计数;计数;ID3算法小结;ID3算法存在的缺点;的基本撒即可都不恐怖方式;OK的十分肯定会说不够开放的时间快发红包国剧盛典冠军飞将;房间号房管局的设备房间都是不放假肯德基封号开始交电话费的看法;的发送给对方是个梵蒂冈贵航股份很反感发给很反感很反感好;第三个梵蒂冈梵蒂冈梵蒂冈梵蒂冈所发生的???送到各回各家华工科