决策树技术培训课程.pptxVIP

决策树技术 Decision Trees;内容提要;简介;(a) 决策树方法的起源是概念学习系统CLS (b) 机器学习领域前辈及大牛之一Quinlan,J.R, 在1983提出ID3决策树算法； 1993年正式提出了c4.5算法,并公布了源代码 2002年发表C5.0 （See5）商业版 决策树的另一类家族： CART 1984， Friedman Breiman ;决策树基本概念;下图是一个简单的决策树。该问题有两个属性X,Y。所有属性值X1和YB的样本属于类2。不论属性Y的值是多少，值X 1的样本都属于类1。;决策树的表示; 在沿着决策树从上到下的遍历过程中，在每个结点都有一个测试。对每个结点上问题的不同测试输出导致不同的分枝，最后会达到一个叶子结点。这一过程就是利用决策树进行分类的过程，利用若干个变量来判断属性的类别;决策树的优点 1、推理过程容易理解，决策推理过程可以表示成If Then形式； 2、推理过程完全依赖于属性变量的取值特点； 3、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。; 经典算法——ID3学习算法 ;决策树的生成;重要问题：哪个属性作为当前的测试节点;信息论相关内容;上式，对数底数可以为任何数，不同的取值对应了熵的不同单位。 通常取2，并规定当p(ai)=0时 =0;在决策树分类中，假设S是训练样本集合，|S|是训练样本数，样本划分为n个不同的类C1,C2,….Cn，这些类的大小分别标记为|C1|，|C2|，…..,|Cn|。则任意样本S属于类Ci的概率为：;Gain（S，A）是属性A在集合S上的信息增益 Gain（S，A）= Entropy(s)-Entropy（S，A） 公式3 Gain（S，A）越大，说明选择测试属性对分类提供的信息越多;熵的计算;Eg2:;计数;计数;第2-2步计算年龄的熵;第2-4步计算年龄的熵;计数;第4步计算学生的熵;第6步计算选择节点 ;计数;计数;计数;计数;ID3算法小结;ID3算法存在的缺点;1、Genius only means hard-working all ones life. (Mendeleyer, Russian Chemist)? 天才只意味着终身不懈的努力。20.8.58.5.202011:0311:03:10Aug-2011:03 2、Our destiny offers not only the cup of despair, but the chalice of opportunity. (Richard Nixon, American President )命运给予我们的不是失望之酒，而是机会之杯。二〇二〇年八月五日2020年8月5日星期三 3、Patience is bitter, but its fruit is sweet. (Jean Jacques Rousseau , French thinker)忍耐是痛苦的，但它的果实是甜蜜的。11:038.5.202011:038.5.202011:0311:03:108.5.202011:038.5.2020 4、All that you do, do with your might; things done by halves are never done right. ----R.H. Stoddard, American poet做一切事都应尽力而为，半途而废永远不行8.5.20208.5.202011:0311:0311:03:1011:03:10 5、You have to believe in yourself. Thats the secret of success. ----Charles Chaplin人必须相信自己，这是成功的秘诀。-Wednesday, August 5, 2020August 20Wednesday, August 5, 20208/5/2020 6、Almost any situation---good or bad---is affected by the attitude we bring to. ----Lucius Annaus Seneca差不多任何一种处境---无论是好是坏---都受到我们对待处境态度的影响。11时3分11时3分5-Aug-208.5.2020 7、Although the world is full of suffering, it is full also of the overcoming of it.----Hellen Keller, Ame