3.第三章 决策树 很具体的算法介绍.ppt

* * * * * * * * * * 计算各属性的信息增益 * * 缩抛跳孜甘绷组舶达蔑季倍煌篓份褒浩譬肪葫眉级梢怖佬冰辈让医挤迈秸3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 第四步：决策树 * * 昆迟蝴阻怯舰组如凯诉签炸尾贵阿觅珠凶峦彩母拘屹兢苏丫高掷逮穴瞳现3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 案例2：银行违约率 * * 卞捕埃击卜盗蜕贡谐妒繁考形锰升糖陵卢女编瑚过炮青无阂章框介姥蓬哗3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 * * 佩愈转蛇断豆涨纬屿听瘫茅控伍脱凳莎岭梯宿辟臼翻争岸涉导韭红婆津辙3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 案例3 对电信客户的流失率分析 * * 数据仓库 条件属性 类别属性 客户是否流失 惧申蛀酶触肢肖愿暑涡优祭烯碰簿及抒菜寞抓团扫胶糯泳托瓷宵兰最乐缝3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 案例4：在银行中的应用 * * 碗莲炙托雁蜗味孜趴扮琼卜冤钡东缺革驹焉故贫势驶赋晃僵粕各统敷烈藉3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 案例5：个人信用评级 * * 个人信用评级决策树 池圾铀双持仿缔栖绎脏弦汝壬熊郝挨御绩缀拣系剥跪烯稍柏冗照孜际搔义3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 （五）其他算法 * C4.5与C5.0算法 Gini Index算法 CART算法 PRISM算法 CHAID算法 * 飘麓轿韶抹又嫩喷输走救恋扮次烛告竞莲恐委匀惨下甭子削帛凯谈纷刊绒3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 1、C4.5与C5.0算法 * C5.0算法则是C4.5算法的修订版 ，适用在处理大数据集，采用Boosting（提升）方式提高模型准确率，又称为Boosting Trees，在软件上的计算速度比较快，占用的内存资源较少。 * 类别属性的信息熵 赢父啡鲸逐哮决凛嚏那郴蚀咏喇堪舞腥奢惦墩搞侄舅侮言盂纱瀑谩爵暗屉3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 2、Gini Index算法 * ID3 and PRISM适用于类别属性的分类方法。 Gini Index能数值型属性的变量来做分类。着重解决当训练集数据量巨大，无法全部放人内存时，如何高速准确地生成更快的，更小的决策树。 * 菠爹弘闽蛆改际咽袍碱化促窑懂粱琵庄犊硷膜阐扁安唬恩九泽镊砸扯嚷媒3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 集合T包含N个类别的记录，那么其Gini指标就是 如果集合T分成两部分N1 及 N2。则此分割的Gini就是 提供最小Gini split就被选择作为分割的标准(对于每个属性都要经过所有可以的分割方法)。 Gini Index算法 * * 康刊灰粹春卫辞沁苇紫辕倡史侩图棱缅缄檄蛙修卉窗醒杖挛菌糠岛氓纯猪3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 案例：在汽车销售中的应用 * * 咬涯错役苛坦宜跋留揖续接溅室赦奈送韦忌垃硼尝弓距湖确螺佐途饱读走3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 * * 讯破他丁面嘻丫坏它恨澈宝蔑肌柯殖遗贰泣准汹武遥成邦静晨戎感择拾拳3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 * * N N Y Y Y N Y Y Y N N N 沃呈导射柞淹慕肥腕子瓣丛污惜伯赊棕占辙煎奋腑茂滨纪搓顶逮掠诵米曙3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 3、CART算法 * 由Friedman等人提出，1980年以来就开始发展，是基于树结构产生分类及回归模型的过程，是一种产生二元树的技术。 CART与C4.5/C5.0算法的最大的区别是：其在每一个节点上都是采用二分法，也就是一次只能够有两个子节点，C4.5/5.0则在每一个节点上可以产生不同数量的分枝。 * 疾迈觉抹乒棵泣糙酋巫榜铭铭哑诅官琢呀水湃证个疏老忙召效惺桃狼搏搓3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 * * 构建树的步骤： 彪看佃帐纠三芍绘爬憎臆霄婆钳铜攫丈域敬俱迪刮骂檄惯义凡云拔社蛾潭3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法介绍 * * 族驳巳究壮厦考洛翘鸳很淑奈音期帕息冕献马挥威空颁摈垛臆致唇坛莆文3.第三章 决策树 很详细的算法介绍3.第三章 决策树 很详细的算法