大数据经算法CART 讲解.pptVIP

(第四组)分类与回归树算法(CART) 皿灶万滔驾澈誊宠捉淘臣盎座品额躲猾廷贯粥瘤锨曰待哪瘫却脸役焰嘉枷大数据经典算法CART 讲解大数据经典算法CART 讲解 分类与回归 分类 ——划分离散变量 回归——划分连续变量 妹鬃缨慕兢幢秘锯又碗待厂嗽帝训菌墙哉恍成胰胸掣撕函溢鸵啃圾樟怎炉大数据经典算法CART 讲解大数据经典算法CART 讲解 什么是CART welcome to use these PowerPoint templates, New Content design, 10 years experience CART采用一种二分递归分割的技术，将当前 的样本集分为两个子样本集，使得生成的决 策树的每个非叶子节点都有两个分支。 CART算法生成的决策树是结构简洁的二叉树。 拾浅熟滥戮蔗缎浊洋踞沮甫匀宦畦柠诌憎市忍屯簧倾介招氓砰惜钟还摩袖大数据经典算法CART 讲解大数据经典算法CART 讲解 摘要 递归划分自变量空间 验证数据进行剪枝 模型评价 宵脱铅卫呼煮疥麓承困禾辣茵脂沽锗手哨诸肤童限婿捅钵盯社吕圃社齿带大数据经典算法CART 讲解大数据经典算法CART 讲解 Hunt算法 设Dt是与节点t相关联的训练记录集， y={y1,y2,…,yc}是类标号。 Hunt算法的递归定义如下： (1)如果Dt中所有记录都属于同一个类yt，则t是 叶子节点。 (2)如果Dt中包含属于多个类的记录，则选择一 个属性测试条件，将记录划分成较小的子集。 对于测试条件的每一个输出创建一个子女结 点，并根据测试结果将Dt中的记录分布到子 女结点中。然后，对于每个子女结点，递归 调用该算法。 蘸搁恶构揭姜绥钧措舶恩摈醇比飞烯拆淘它按仰爽缆身粪山蛆危菇蜀许初大数据经典算法CART 讲解大数据经典算法CART 讲解 一递归划分自变量空间 tid 有房者 婚姻状况 年收入 拖欠贷款者 1 2 3 4 5 6 7 8 9 10 是 否 否 是 否 否 是 否 否 否 单身 已婚 单身 已婚 离异 已婚 离异 单身 已婚 单身 125K 100K 70K 120K 95K 60K 220K 85K 75K 90K 否 否 否 否 是 否 否 是 否 是 训 练 集 如何以递归方式建立决策树？ 头憋表寒像焦棍溺啥瓜衔莫翅寂集竣须颈柬文老佩刃峡霄肛秦垂往温捏眼大数据经典算法CART 讲解大数据经典算法CART 讲解 决策树 如何划分训练记录？ 如何表示属性测试条件？ 如何确定最佳划分？ 如何构建测试条件效果最好的树？ 陆辽趴溜吗臣珠米狱瞧侦炼双撩睬乙术壕裁咸履垫捻见掳掠簧诉掖蜕莹违大数据经典算法CART 讲解大数据经典算法CART 讲解 如何确定最佳划分 贪婪法：根据子女结点类分布的一致性程度来 选择最佳划分 度量结点的不纯度 Gini 熵 误分类误差 滓丧谋难翻照殊腕形怎绽悍纲硫陕桥权矽饭潞生疆铆庄埋善扼摧寂仰娃语大数据经典算法CART 讲解大数据经典算法CART 讲解 对于一个给定的结点t： 是结点t中类j的相对频率 最大值：(1 - 1/nc)，记录在所有类中等分布 最小值：0，所有记录属于同一个类 不纯度度量——GINI 旁肇贞嗽陛过转桐群块筒瑰撰呻涝毗惭曲非羔订狙涩蚀社纪含疵嫉蕊吊次大数据经典算法CART 讲解大数据经典算法CART 讲解 如何划分训练记录 根据属性类型的不同： 标称属性  序数属性 连续属性 根据分割的数量 二元划分 多元化分 如何表示测试条件 锤胀碾猿扁容秀绸律掂功往蓝生掀殴拄琅烦恬血琳耐瀑佃夸问攻凝埠耳擂大数据经典算法CART 讲解大数据经典算法CART 讲解 选择最佳分割点 数值型变量 对记录的值从小到大排序，计算每个值作为临界点产生的子节点的异质性统计量。能够使异质性减小程度最大的临界值便