决策树(基于统计学习方法书).pptVIP

* * * * * * * * 决策树 决策树 决策树（Decision Tree）是一种基本的分类与回归方法，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。 可以认为是if-then规则的集合。 可以认为是定义在特征空间与类空间上的条件概率分布。 决策树模型：if-then规则 内部节点：特征和属性 叶节点：类 树：由节点和有向边组成 路径互斥且完备 可以认为是if-then规则的集合。由决策树的根结点到叶结点的每一条路径构建一条规则;路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。 决策树：条件概率分布 决策树还表示给定特征条件下类的条件概率分布 此处条件概率分布：定义在特征空间的一个划分(partition)上，将特征空间划分为互不相交的单元(cell)或区域(region)，并在每个单元定义一个类的概率分布就构成了一个条件概率分布。 决策树：条件概率分布 学习目的 从训练数据集中归纳出一组分类规则。可能有多个，可能没有。需要的是一个与训练数据矛盾较小的决策树，同时具有很好的泛化能力。 从训练数据集估计条件概率模型。基于特征空间划分的类的条件概率模型有无穷多个。我们选择的条件概率模型应该不仅对训练数据有很好的拟合，而且对未知数据有很好的预测。 学习步骤 特征的选择 决策树的生成：递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。 剪枝：利用损失函数最小原则进行剪枝=用正则化的极大似然估计进行模型选择 学习步骤一：特征的选择 如果特征数量很多，在决策树学习开始时对特征进行选择，只留下对训练数据有足够分类能力的特征 选择的原则：信息增益或者信息增益比 设有随机变量(X,Y)，其联合概率分布为： 熵：表示随机变量不确定性的度量 条件熵：H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性，定义为X给定条件下Y的条件概率分布的嫡对X的数学期望 学习步骤一：特征的选择 当嫡和条件嫡中的概率由数据估计(特别是极大似然估计)得到时，所对应的嫡与条件嫡分别称为经验熵和经验条件嫡 极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。 学习步骤一：特征的选择 信息增益： g(D,A)：特征A对训练数据集D的信息增益 H(D)：集合D的经验嫡 H(D|A)：特征A给定条件下D的经验条件嫡 改进：信息增益值的大小是相对于训练数据集而言的，并没有绝对意义。在分类问题困难时，也就是说在训练数据集的经验嫡大的时候，信息增益值会偏大，反之，信息增益值会偏小。 信息增益比： 学习步骤二：决策树的生成 ID3算法：基于信息增益选择特征 C4.5算法：基于信息增益比选择特征 （C4.5并不一个算法，而是一组算法—C4.5，非剪枝C4.5和C4.5规则） ID3算法例子： 1.特征的选择,计算信息增益，并选择结果最大时所对应的特征 ID3算法例子： 2.树的生成 学习步骤三：剪枝 决策树的生成算法容易构建过于复杂的决策树，可能只是对已知数据很好分类，对未知数据分类效果不清楚，产生过拟合 在决策树学习中将已生成的树进行简化的过程称为剪枝。具体地，剪枝从下而上，从已生成的树上裁掉一些子树或叶结点，并将其根结点或父结点作为新的叶结点，从而简化分类树模型. 此处介绍一种简单的算法实现：极小化决策树整体的损失函数(loss fimction)或代价函数( cost function)。 损失函数(loss fimction)：对于单个训练样本的误差 代价函数( cost function)：对于整个训练集，所有样本误差总和的平均 * * * * * * * * * * * * * * * * * * * * * * * * * * * *