数据挖掘课件--分类方法重点.pptVIP

朴素贝叶斯分类 续 ?其中概率P x1|Ci ，P x2|Ci ，……，P xn|Ci 可以由训练样本估值。 如果Ak是离散属性，则P xk|Ci sik|si，其中sik是在属性Ak上具有值xk的类Ci的训练样本数，而si是Ci中的训练样本数。 如果Ak是连续值属性，则通常假定该属性服从高斯分布。因而， 是高斯分布函数， 而分别为平均值和标准差。 5 ?对未知样本X分类，也就是对每个类Ci，计算P X|Ci *P Ci 。样本X被指派到类Ci，当且仅当P Ci|X P Cj|X ，1≤j≤m，j≠i，换言之，X被指派到其P X|Ci *P Ci 最大的类。 朴素贝叶斯分类举例 样本数据 Age income student credit_rating buy_computer 30 High No Fair No 30 High No Excellent No 31…40 High No Fair Yes 40 Medium No Fair Yes 40 Low Yes Fair Yes 40 Low Yes Excellent No 31…40 Low Yes Excellent Yes 30 Medium No Fair No 30 Low Yes Fair Yes 40 Medium Yes Fair Yes 30 Medium Yes Excellent Yes 31…40 Medium No Excellent Yes 31…40 High Yes Fair Yes 40 Medium No Excellent No 1 我们需要最大化P X|Ci *P Ci ，i 1，2。每个类的先验概率P Ci 可以根据训练样本计算： P buys_computer ”yes” 9/14 0.643， P buys_computer ”no” 5/14 0.357。 2 为计算P X|Ci ，i 1，2，我们计算下面的条件概率： P age 30|buys_computer ”yes” 2/9 0.222， P age 30”|buys_computer ”no” 3/5 0.600， P income ”medium”|buys_computer ”yes” 4/9 0.444， P income ”medium”|buys_computer ”no” 2/5 0.400， P student ”yes”|buys_computer ”yes” 6/9 0.677， P student ”yes”|buys_computer ”no” 1/5 0.200， P credit_rating ”fair”|buys_computer ”yes” 6/9 0.667， P credit_rating ”fair”|buys_computer ”no” 2/5 0.400。 3 假设条件独立性，使用以上概率，我们得到： P X|buys_computer ”yes” 0.222*0.444*0.667*0.667 0.044， P X|buys_computer ”no” 0.600*0.400*0.200*0.400 0.019， P X|buys_computer ”yes” *P buys_computer ”yes” 0.044*0.643 0.028 P X|buys_computer ”no” *P buys_computer ”no” 0.019*0.357 0.007。 因此，对于样本X，朴素贝叶斯分类预测buys_computer ”yes”。 数据样本用属性age，income，student和credit_rating描述。类标号属性buys_computer具有两个不同值（即 yes，no ）。设C1对应于类buys_computer ”yes”，而C2对应于类buys_computer ”no”。 我们希望分类的未知样本为: X （age ” 30”，income ”medium”，student ”yes”，credit_rating ”fair”）。 第四章 分类方法 内容提要 分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 规则归纳 与分类有关的问题 规则归纳 常见的采用规则表示的分类器构造方法有: 利用规则归纳技术直接生成规则 利用决策树方法先生成决策树，然后再把决策树转换为规则； 使用粗糙集方法生成规则； 使用遗传算法中的分类器技术生成规则等。 本节将只讨论规则归纳方法。我们这里讨论的规则归纳算法，可以直接学