决策树学习算法概要.ppt

例2. 第三十页，共四十九页。 Decision Tree (结果输出) age? overcast student? credit rating? no yes fair excellent =30 40 no no yes yes yes 30..40 第三十一页，共四十九页。 用信息增益度量期望熵最低 第三十二页，共四十九页。 举例 第三十三页，共四十九页。 第三十四页，共四十九页。 第三十五页，共四十九页。 决策树学习算法概要 决策树表示法 决策树学习的适用问题 基本的决策树学习算法 决策树学习中的假想空间搜索 决策树学习的常见问题 第一页，共四十九页。 简介 决策树方法的起源是概念学习系统CLS，然后发展到ID3方法而为高潮，最后又演化为能处理连续属性的C4.5。有名的决策树方法还有CART和Assistant。 是应用最广的归纳推理算法之一 一种逼近离散值目标函数的方法 对噪声数据有很好的健壮性且能学习析取表达式 第二页，共四十九页。 1.决策树算法的框架(1/5) 判定树分类算法 output 训练集 决策树 input 第三页，共四十九页。 决策树 通过把实例从根节点排列到某个叶子节点来分类实例。 叶子节点即为实例所属的分类 每个节点说明了对实例的某个属性的测试 节点的每个后继分支对应于该属性的一个可能值 正实例：产生正值决策的实例 负实例：产生负值决策的实例 1.决策树算法的框架(2/5) 第四页，共四十九页。 1.决策树算法的框架(3/5) 第五页，共四十九页。 决策树代表实例属性值约束的合取的析取式(析取范式)。从树根到树叶的每一条路径对应一组属性测试的合取，树本身对应这些合取的析取 1.决策树算法的框架(4/5) 第六页，共四十九页。 1.决策树算法的框架(5/5) 第七页，共四十九页。 2.决策树学习的适用问题(1/2) 适用问题的特征 实例是由属性-值对表示的 目标函数具有离散的输出值 可能需要析取的描述 训练数据可以包含错误 训练数据可以包含缺少属性值的实例 第八页，共四十九页。 问题举例 根据疾病分类患者 根据起因分类设备故障 根据拖欠支付的可能性分类贷款申请 分类问题 核心任务是把样例分类到各可能的离散值对应的类别 2.决策树学习的适用问题(2/2) 第九页，共四十九页。 3.基本的决策树学习算法 CLS学习算法 ID3学习算法 第十页，共四十九页。 CLS学习算法 基本思想： 在CLS的决策树中，节点对应于待分类对象的属性，由某一节点引出的弧对应于这一属性可能去的属性值，叶节点对应于分类的结果。 第十一页，共四十九页。 CLS算法描述 如果训练集TR中所有实例分类结果均为Ci，则返回Ci； 从属性表中选择某一属性A作为检测属性； 不妨假定|ValueType(Ai)|=k，根据A取值不同，将TR划分为k个集TR1,,…, TRk, ； 从属性表中去掉已检验的属性A ； 对每个i，用TRi和新的属性表递归调用CLS生成TRi的决策树； 返回以属性A为根，为子树的决策树。 第十二页，共四十九页。 例1：鸟是否能飞的实例 Instances No. of wings Broken wings Living status Wing area/ weight Fly 1 2 0 Alive 2.5 True 2 2 1 Alive 2.5 False 3 2 2 Alive 2.6 False 4 2 0 Alive 3.0 True 5 2 0 Dead 3.2 False 6 0 0 Alive 0 False 7 1 0 Alive 0 False 8 2 0 Alive 3.4 True 9 2 0 alive 2.0 False 第十三页，共四十九页。 属性表: {No. of wings， Broken wings， Living status， wing area/ weight } 各属性的取值域分别为： ValueType(No. of wings)={0,1,2} ValueType(Broken wings)={0,1,2} ValueType(Living status)={alive, dead} ValueType(wing area/ weight) 第十四页，共四十九页。 No. of wings No. of wings No No No No