决策树学习算法概要.pptVIP

决策树学习算法概要 简介 决策树表示法 决策树学习的适用问题 基本的决策树学习算法 决策树学习中的假想空间搜索 决策树学习的常见问题 简介 决策树方法的起源是概念学习系统CLS，然后发展到ID3方法而为高潮，最后又演化为能处理连续属性的C4.5。有名的决策树方法还有CART和Assistant。 是应用最广的归纳推理算法之一 一种逼近离散值目标函数的方法 对噪声数据有很好的健壮性且能学习析取表达式 1.决策树算法的框架(1/5) 1.决策树算法的框架(2/5) 决策树 通过把实例从根节点排列到某个叶子节点来分类实例。 叶子节点即为实例所属的分类 每个节点说明了对实例的某个属性的测试 节点的每个后继分支对应于该属性的一个可能值 正实例：产生正值决策的实例 负实例：产生负值决策的实例 1.决策树算法的框架(4/5) 决策树代表实例属性值约束的合取的析取式(析取范式)。从树根到树叶的每一条路径对应一组属性测试的合取，树本身对应这些合取的析取 1.决策树算法的框架(5/5) 2.决策树学习的适用问题(1/2) 适用问题的特征 实例是由属性-值对表示的 目标函数具有离散的输出值 可能需要析取的描述 训练数据可以包含错误 训练数据可以包含缺少属性值的实例 2.决策树学习的适用问题(2/2) 问题举例 根据疾病分类患者 根据起因分类设备故障 根据拖欠支付的可能性分类贷款申请 分类问题 核心任务是把样例分类到各可能的离散值对应的类别 3.基本的决策树学习算法 CLS学习算法 ID3学习算法 CLS学习算法 基本思想： 在CLS的决策树中，节点对应于待分类对象的属性，由某一节点引出的弧对应于这一属性可能去的属性值，叶节点对应于分类的结果。 CLS算法描述 如果训练集TR中所有实例分类结果均为Ci，则返回Ci； 从属性表中选择某一属性A作为检测属性； 不妨假定|ValueType(Ai)|=k，根据A取值不同，将TR划分为k个集TR1,,…, TRk, ； 从属性表中去掉已检验的属性A ； 对每个i，用TRi和新的属性表递归调用CLS生成TRi的决策树； 返回以属性A为根，为子树的决策树。 例1：鸟是否能飞的实例 属性表: {No. of wings， Broken wings， Living status， wing area/ weight } 各属性的取值域分别为： ValueType(No. of wings)={0,1,2} ValueType(Broken wings)={0,1,2} ValueType(Living status)={alive, dead} ValueType(wing area/ weight) ID3算法 CLS算法可以产生所有可能的决策树，正确分类训练实例。并能选择最简单的决策树。但是，它所面对的学习问题不能太大，并且一次对全部训练集构造决策的算法效率低。为此，Quinlan提出了逐步形成完整决策树的迭代思想。 ID3的思想 自顶向下构造决策树 从“哪一个属性将在树的根节点被测试”开始 使用统计测试来确定每一个实例属性单独分类训练样例的能力 ID3的过程 分类能力最好的属性被选作树的根节点 根节点的每个可能值产生一个分支 训练样例排列到适当的分支 重复上面的过程 信息熵(Information Entropy) 信息熵是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。 熵(Entropy) 原是物理学中的一个概念，法国物理学家克劳修斯用熵描述一个物理系统的无序性。系统的无序程度越高，则熵越大。 信息论 在信息论中信源输出是随机量，因而其不定度可以用概率分布来度量。记 H(X)＝H(P1，P2，…，Pn)，这里P(i)，i＝1，2，…，n为信源取第i个符号的概率。H(X)称为信源的信息熵。 可以从数学上加以证明，只要H(X)满足下列三个条件： ①连续性：H(P，1－P)是P的连续函数(0≤P≤1)； ②对称性：H(P1，…，Pn)与P1，…，Pn的排列次序无关； ③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，则有H(P1，…，Pn-1，Q1，Q2)＝H(P1，…，Pn-1)+PnH；则一定有下列唯一表达形式：H(P1，…，Pn)＝-CP(i)logP(i) 其中C