数据挖掘：决策树算法及的应用拓展.pptVIP

实验结果 数据库 训练样例 测试样例 训练精度 标准差 测试精度 标准差 BALANCE 571 63 91.4 0.003 87.4 0.056 Hatehi 148 16 89.2 0.011 87.1 0.053 heart 251 28 86.1 0.005 83.9 0.033 Mushroom 6546 727 99.5 0.000 99.5 0.003 TIC-TAC-TOE 871 96 71.0 0.010 70.0 0.055 结果分析 从上面的实验结果我们可以得到朴素贝叶斯分类器的以下几个特点: 训练精度≈测试精度 意义明确,便于理解 时间复杂度低,可以应用大型数据库 易于实现增量 练 习 一个销售的顾客数据集，对购买计算机的人员进行分类： 字段为：年龄（取值：30，30~40 ， 40）; 收入（高，中，低） ; 学生否（Y，N） ; 信用（一般，很好） ; 购买计算机否（Y，N） ; 记录为14人，具体数据如下： x1=（30, 高, N ,一般, N）; x2=（30, 高, N ,很好, N）; x3=（30~40, 高, N ,一般, Y ）; x4=（40, 中, N ,一般, Y）; x5=（40, 低, Y ,一般, Y ）; x6=（ 40, 低, Y ,很好, N）; x7=（30~40,低, Y ,高, Y ）; x8=（30, 中, N ,一般, N）; x9=（30,低, Y ,一般, Y ）; x10=（40, 中, Y ,一般, Y）; x11=（30, 中, Y,很好, Y ）; x12=（30~40, 中, N ,很好, Y）; x13=（30~40, 高, Y ,一般, Y ）; x14=（40, 中, N ,很好, N）; 第一步统计个数 表1 类别为cj及在cj条件下Ai取ai的样例数 年龄 收入 学生否 信用 购买计算机 30 30~40 40 高 中 低 Y N 一般 很好 2 4 3 2 4 3 6 3 6 3 Yes 9 3 0 2 2 2 1 1 4 2 3 No 5 估计先验概率和条件概率 表2 先验概率P(cj) 和条件概率P(ai|cj) 年龄 收入 学生否 信用 购买计算机 30 30~40 40 高 中 低 Y N 一般 很好 0.222 0.444 0.333 0.222 0.444 0.333 0.666 0.333 0.666 0.333 Yes 0.643 0.6 0 0.4 0.4 0.4 0.2 0.2 0.8 0.4 0.6 No 0.357 样例判别 现在假设有一个样例x x = {年龄30，收入=中，学生否=Y，信用=一般} 等于yes的概率 P(Yes|x) = p(Yes)*p(30|Yes)* p(收入=中|Yes)* p(学生=Y|Yes)* p(信用=一般|Yes) =0.643*0.222*0.444*0.666*0.666 =0.028 等于No的概率 P(No|x) = p(No)* p(30|Yes)* p(收入=中|Yes)* p(学生=Y|Yes)* p(信用=一般|Yes) =0.357*0.6*0.4*0.2*0.4 =0.007 max (P(Yes|x), P(No|x) ) = P(Yes|x) ,所以我们把x分类为Yes，即购买计算机 学习动物精神 11、机智应变的猴子：工作的流程有时往往是一成不变的，新人的优势在于不了解既有的做法，而能创造出新的创意与点子。一味 地接受工作的交付， 只能学到工作方法 的皮毛，能思考应 变的人，才会学到 方法的精髓。 学习动物精神 12、善解人意的海豚：常常问自己：我是主管该怎么办才能有助于更好的处理事情的方法。在工作上善解人意， 会减轻主管、共 事者的负担，也 让你更具人缘。 决策树生成 基本思想： 用途：提取分类规则，进行分类预测 判定树分类算法 output 训练集 决策树 input 决策树示意图 使用决策树进行分类 决策树 一个树性的结构 内部节点上选用一个属性进行分割 每个分叉都是分割的一个部分 叶子节点表示一个分布 决策树生成算法分成两个步骤 树的生成 开始，数据都在根节点 递归的进行数据分片 树的修剪 去掉一些可能是噪音或者异常的数据 决策树使用: 对未知数据进行分割 按照决策树上采用的分割属性逐层往下，直到叶子节点 决策树算法 基本算法（贪心算法） 自上而下分而治之的方法 开始时，所有的数据都在根节点 属性都是种类