决策树(详细易懂很多例子).pptVIP

简介 决策树算法是一种归纳分类算法,它通过对训练集的学习,挖掘出有用的规则,用于对新集进行预测。 有监督的学习。 非参数学习算法。对每个输入使用由该区域的训练数据计算得到的对应的局部模型。 决策树归纳的基本算法是贪心算法，自顶向下递归方式构造决策树。 贪心算法：在每一步选择中都采取在当前状态下最好/优的选择。 在其生成过程中，分割方法即属性选择度量是关键。通过属性选择度量，选择出最好的将样本分类的属性。 决策树的结构 决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散输出的测试函数，记为分支。 根节点 非叶子节点（决策点） 叶子节点 分支 单变量树 每个内部节点中的测试只使用一个输入维。如果使用的输入维 是离散的，取n个可能的值之一，则该节点检测 的值，并取相应的分支，实现一个n路划分。 决策点具有离散分支，而数值输入应当离散化。如果 是数值的（有序的），则测试函数是比较： 其中 是适当选择阈值。该决策节点将输入空间一份为二： 和 ，称为一个二元划分。 决策树根据所选取的属性是数值型还是离散型，每次将数据划分成两个或n个子集。然后使用对应的子集递归地进行划分，直到不需要划分，此时，创建一个树叶节点标记它。 决策树分类 Example of a Decision Tree Another Example of Decision Tree Apply Model to Test Data Apply Model to Test Data Apply Model to Test Data Apply Model to Test Data Apply Model to Test Data Apply Model to Test Data 决策树原理 例子：算法过程 例子：算法过程 例子：算法过程 例子：算法过程 问题1：分类从哪个属性开始？ ——选择分裂变量的标准 问题2：为什么工资以80为界限？ ——找到被选择的变量的分裂点的标准（连续变量情况） 分类划分的优劣用不纯性度量来分析。如果对于所有分支，划分后选择相同分支的所有实例都属于相同的类，则这个划分是纯的。对于节点m，令 为到达节点m的训练实例数， 个实例中 个属于 类，而 。如果一个实例到节点m，则它属于 类的概率估计为： 节点m是纯的，如果对于所有i， 为0或1。当到达节点m的所有实例都不属于 类时， 为0，当到达节点m的所有实例都属于 类时， 为1。 一种度量不纯性的可能函数是熵函数（entropy)。 C.Shannon的信息论 ? 系统越无序、越混乱，熵就越大。 ? 构造决策树，熵定义为无序性度量。 ? 选择一个属性划分数据，使得子女节点上数据的类值（例中“yes”或“no”）大部分都相同（低无序性）。 ? 如果一个节点上的数据类值在可能的类值上均匀分布，则称节点的熵（无序性）最大。 ? 如果一个节点上的数据的类值对于所有数据都相同，则熵最小。 ? 通过分裂，得到尽可能纯的节点。这相当于降低系统的熵。 例子 气象数据集，都是标称属性 1.基于天气的划分 构造树 训练样本的信息值 第一棵树，属性，各叶节点的信息值 第一棵树，属性，导致的信息增益 依次，计算每棵树导致的信息增益 选择获得最大信息增益的属性进行划分 以此类推，递归，继续划分 当所有叶节点都是纯的，划分过程终止 （1）训练样本的信息值(基于类的比例） ? 训练样本（用来创建树的数据集）在包含9个yes和5个no的根节点上，对应于信息值 info([9,5])=0.940位 →总的信息 （2） 第一棵树，属性，各叶节点的信息值 ? 基于天气(outlook)的划分，在叶节点的yes和no类的个数分别是[2,3]，[4,0]，和[3,2]，而这些节点的信息值分别是： ? info([2,3])=0.971位 →sunny ? info([4,0])=0. 0位 →overcast ? info([3,2])=0.971位 →rain （3）第一棵树，属性，导致的信息增益 计算平均信息值。