决策树完整.pptVIP

《机器学习》周志华 第4章 决策树 第5章 神经网络和深度学习 第6章 支持向量机 第8章 集成学习 第9章 聚类 关联规则学习 第4章 决策树 根据训练数据是否拥有标记信息 学习任务 决策树（decision tree）模型常常用来解决分类和回归问题。常见的算法包括 CART (Classification And Regression Tree)、ID3、C4.5等。 半监督学习：输入数据部分被标识，部分没有被标识，介于监督学习与非监督学习之间。 分类、回归 聚类 监督学习(supervised learning) 无监督学习(unsupervised learning) 半监督学习(semi-supervised learning) 强化学习(reinforcement learning) 二分类学习任务 属性 属性值 根结点：包含全部样本 叶结点：对应决策结果 “好瓜” “坏瓜” 内部结点：对应属性测试 决策树学习的目的：为了产生一颗泛化能力强的决策树，即处理未见示例能力强。 无需划分 无法划分 不能划分 无需划分 无法划分 不能划分 Hunt算法： 1,2,3,4,5,6,8,10,15 1,2,3,4,5 6,8,15 10 6 8,15 8 15 第（2）种情形：设定为该结点所含样本最多的类别 利用当前结点的后验分布 第（3）种情形：设定为其父结点所含样本