数据挖掘-决策树分类.pptVIP

四、决策树分类 Decision Tree Classification The End ID3算法应用 1． 在汽车售后服务中的应用。 2． 在ATM选点预测系统中的应用。 C4.5算法 C4.5算法与ID3算法的不同点 C4.5算法描述 C4.5算法实例分析 C4.5算法源程序分析 C4.5算法特点 C4.5算法应用 C4.5算法与ID3算法的不同点 不同点包括： （1）分支指标采用增益比例（信息增益的标准化），有最大增益比的属性被选为分割属性； （2）按照数值属性值的大小对样本排序，从中选择一个分割点，划分数值属性的取值区间，将处理能力扩充到数值属性； （3）处理缺少属性值的训练样本（最常用值、平均值）； （4）使用K次迭代交叉验证，评估模型的优劣程度； （5）根据生成的决策树，可以产生一个if-then规则的集合，每一个规则代表从根节点到叶节点的一条路径。 1．增益比例 信息增益是一种衡量最优分支属性的有效函数，但是它倾向于选择具有大量不同取值的属性，从而产生许多小而纯的子集。 首先，考虑训练样本关于属性值的信息量（熵）split_info（S,A），其中，S代表训练样本集，A代表属性，信息量的计算公式如下： 其中， 表示根据属性A划分的第i个样本子集，样本在A上的取值分布越均匀，split_info的值也就越大。split_info用来衡量属性分裂数据的广度和均匀性。属性A的增益比例计算如下： 其中， 表示信息增益。 2．数值属性的处理 C4.5处理数值属性的过程如下： （1）按照属性值对训练数据进行排序； （2）用不同的阈值对训练数据进行动态划分； （3）当输入改变时确定一个阈值； （4）取当前样本的属性值和前一个样本的属性值的中点作为新的阈值； （5）生成两个划分，所有的样本分布到这两个划分中； （6）得到所有可能的阈值、增益和增益比例。 每一个数值属性划分为两个区间，即大于阈值或小于等于阈值。 3．未知属性值的处理 （1）一种处理样本中未知属性值的方法是将未知值用最常用的的值代替，或者用该属性的所有取值的平均值代替。 （2）另一种解决办法是采用概率的办法，对属性的每一个取值赋予一个概率，在划分样本集时，将未知属性值的样本按照属性值的概率分配到子节点中去，这些概率的获取依赖于已知的属性值的分布。 4．规则的产生 C4.5还提供了将决策树模型转换为if-then规则的算法。规则存储于一个二维数组中，每一行代表一个规则。表的每一列代表样本的一个属性，列的值代表了属性的不同取值， C4.5算法描述 参考教材《数据挖掘算法原理与实现》第75页 算法伪代码 C4.5算法实例分析 参考教材《数据挖掘算法原理与实现》第76-77页 例4.3 例题3设网球俱乐部有打网球与气候条件的历史统计数据，请用C4.5算法构造关于气候条件与是否适宜打球的决策树。 解：根据C4.5算法要求，首先对属性A3=“湿度”进行离散化， 即将“湿度”取值排序为65, 70,75,78,80,85, 90, 95，则其分割点分别为67.5, 72.5, 76.5, 79, 82.5, 87.5, 92.5。 由上表可知，若用C1表示分类标号“是”的样本，C2表示“否”的样本，则C1={X3, X4, X5, X7, X9, X10, X11, X12, X13}, C2={X1, X2, X6, X8, X14}。 因为|C1|=9，|C2|=5，所以C的分类信息熵 E(S,C)= (9/14)log2(9/14)+ (5/14)log2(5/14)=0.94 1、计算湿度值的每个分割点对应的信息增益。 （1）分割点取67.5时，则属性A3=“湿度”成为取值A?67.5和A67.5的二元属性，下面先计算A3相对C的信息熵。 依据分割点67.5将S划分 “A3≤67.5”和“A367.5”两个集合S1={X7}和S2=S-S1，因此|S1|=1，|S2|=13 因为S1中有1个类别标号为“是”，则得C分类S1的信息熵 E(S1,C)=(1/1)log2(1/1)+(0/1)log2(0/1)=0 因为S2中有8个类别标号为“是”，同理可得C分类S2的信息熵 E(S2,C)=(8/13)log2(8/13)+(5/13)log2(5/13) =0.431+0.530=0.961 因此，属性A3相对C的分类信息熵 E(S,A3|C)=(1/14) E(S1,