数据挖掘课件--分类方法解析.ppt

朴素贝叶斯分类(续) ?其中概率P(x1|Ci)，P(x2|Ci)，……，P(xn|Ci)可以由训练样本估值。 如果Ak是离散属性，则P(xk|Ci)=sik|si，其中sik是在属性Ak上具有值xk的类Ci的训练样本数，而si是Ci中的训练样本数。 如果Ak是连续值属性，则通常假定该属性服从高斯分布。因而，?? 是高斯分布函数， 而分别为平均值和标准差。 (5)?对未知样本X分类，也就是对每个类Ci，计算P(X|Ci)*P(Ci)。样本X被指派到类Ci，当且仅当P(Ci|X) P(Cj|X)，1≤j≤m，j≠i，换言之，X被指派到其P(X|Ci)*P(Ci)最大的类。 朴素贝叶斯分类举例 样本数据 Age income student credit_rating buy_computer =30 High No Fair No =30 High No Excellent No 31…40 High No Fair Yes 40 Medium No Fair Yes 40 Low Yes Fair Yes 40 Low Yes Excellent No 31…40 Low Yes Excellent Yes =30 Medium No Fair No =30 Low Yes Fair Yes 40 Medium Yes Fair Yes =30 Medium Yes Excellent Yes 31…40 Medium No Excellent Yes 31…40 High Yes Fair Yes 40 Medium No Excellent No (1) 我们需要最大化P(X|Ci)*P(Ci)，i=1，2。每个类的先验概率P(Ci)可以根据训练样本计算： P(buys_computer=”yes”)=9/14=0.643， P(buys_computer=”no”)=5/14=0.357。 (2) 为计算P(X|Ci)，i=1，2，我们计算下面的条件概率： P(age=30|buys_computer=”yes” )=2/9=0.222， P(age=30”|buys_computer=”no” )=3/5=0.600， P(income=”medium”|buys_computer=”yes” )=4/9=0.444， P(income=”medium”|buys_computer=”no” )=2/5=0.400， P(student=”yes”|buys_computer=”yes” )=6/9=0.677， P(student=”yes”|buys_computer=”no” )=1/5=0.200， P(credit_rating=”fair”|buys_computer=”yes” )=6/9=0.667， P(credit_rating=”fair”|buys_computer=”no” )=2/5=0.400。 (3) 假设条件独立性，使用以上概率，我们得到： P(X|buys_computer=”yes” )=0.222*0.444*0.667*0.667=0.044， P(X|buys_computer=”no” )=0.600*0.400*0.200*0.400=0.019， P(X|buys_computer=”yes” )*P(buys_computer=”yes” )= 0.044*0.643=0.028 P(X|buys_computer=”no” )*P(buys_computer=”no” )=