第12讲 决策树.pptVIP

Data Mining Tool - Decision Tree, Jiahuang Ji, Ph.D. All Rights Reserved Data Mining, Jiahuang Ji, All Rights Reserved Data Mining Tool  – Decision Tree（决策树） 提要 数据挖掘 决策树的用途 决策树的建立 决策树的数据准备 小结 数据挖掘 数据挖掘 数据挖掘 数据挖掘 数据挖掘 数据挖掘 数据挖掘技术 Neural Networks 计算机神经网络 Decision trees 决策树 Regression methods Predicate logic …… 决策树的用途 决策树是数据挖掘的有力工具之一 决策树的用途 决策树是数据挖掘的有力工具之一 临床决策 决策树的用途 决策树的用途 决策树的用途 决策树的用途 决策树的建立 1. 决策树建立的关键 2. 对测试样例的信息期望 信息期望 的分析与计算 平均信息期望 信息期望的减少 3. 决策树建立步骤（例） 决策树的建立 -- 决策树建立的关键 决策树的建立 -- 决策树建立的关键 决策树的建立 -- 对测试样例的信息期望 决策树的建立 -- 对测试样例的信息期望 决策树的建立 -- 对测试样例的信息期望 让我们称所需要研究的属性为“分类属性”。假设该属性共分m类，而它们每一类在数据表中计数的总和分别为s1, s2 …, sm。 令 s = s1+ s2 + …+sm 那么对于任一样例，决定它所属类别的信息期望可以用下面的公式来计算： I(s1, s2 …, sm) = - pi log2(pi) 其中 pi = si /s 决策树的建立 -- 对测试样例的信息期望 例：左表 分类属性：买计算机？ 该属性共分两类(m=2): 买/不买 s1 = 641, s2 = 383 s = s1+ s2 = 1024 p1 = s1 /s = 641/1024 = 0.6260 p2 = s2 /s = 383/1024 = 0.3740 I(s1, s2) = I(641, 383) = - (p1 log2(p1) + p2 log2(p2)) = 0.9537 决策树的建立 -- 对测试样例的信息期望 讨论：“买”/“不买”计算机的人数之间的比例对于信息期望值的影响 I(641, 383) = 0.9537 I(512, 512) = I(4, 4) = 1 I(51, 973) = I(973, 51) = 0.2856 I(0, 1024) = I(256, 0) = 0 I(128, 256) = 0.9183 I(257, 127) = 0.9157 信息期望的数值与分类属性中各类计数之间的比例有关 信息期望的数值与计数总数无关 决策树的建立 -- 对测试样例的信息期望 例：分类属性：加何种油？ 该属性共分三类(m=3): Regular/Plus/ Supreme s1 = 13300, s2 = 7300, s3 = 5200 s = s1+ s2 + s3 = 25800 p1 = s1 /s = 13300 / 25800 = 0.5155 p2 = s2 /s = 7300 / 25800 = 0.2829 p3 = s3 /s = 5200 / 25800 = 0.2016 I(s1, s2 , s3) = I(13300, 7300, 5200) = - (p1 log2(p1) + p2 log2(p2) + p3 log2(p3)) = 1.4739 决策树的建立 -- 对测试样例的信息期望 讨论：三种汽油购买人数之间的比例对于需解决的信息量的影响 I(13300, 7300, 5200) = 1.4739 I(25800, 0, 0) = 0 I(0, 10, 0) = 0 I(641, 383, 0) = 0.9537 I(900, 100, 24) = 0.6183 I(64, 64, 64) = 1.5851 当分类属性的种类增加时，对测试样例的信息期望通常也相应增加。 决策树的建立 -- 对测试样例的信息期望 决策树的建立 -- 对测试样例的信息